MoE 想拆开的就是这根绑带。它不让每个 token 都访问全部 FFN 参数,而是准备一组专家 FFN,再用
Router 给每个 token 选择少数几个专家。总参数可以很大,单次激活的参数仍然保持较小。
MoE 的关键不是专家多,而是路由稳
未经允许不得转载:小狮博客 » MoE 的关键不是专家多,而是路由稳
MoE 想拆开的就是这根绑带。它不让每个 token 都访问全部 FFN 参数,而是准备一组专家 FFN,再用
Router 给每个 token 选择少数几个专家。总参数可以很大,单次激活的参数仍然保持较小。