thbcm的文章

技术专栏

MoE 的关键不是专家多,而是路由稳

thbcm阅读(86)赞(0)

MoE 想拆开的就是这根绑带。它不让每个 token 都访问全部 FFN 参数,而是准备一组专家 FFN,再用 Router 给每个 token 选择少数几个专家。总参数可以很大,单次激活的参数仍然保持较小。

联系我们