MoE 的关键不是专家多,而是路由稳

MoE 想拆开的就是这根绑带。它不让每个 token 都访问全部 FFN 参数,而是准备一组专家 FFN,再用
Router 给每个 token 选择少数几个专家。总参数可以很大,单次激活的参数仍然保持较小。

赞(0)
未经允许不得转载:小狮博客 » MoE 的关键不是专家多,而是路由稳
分享到: 更多 (0)

联系我们