如何对稀疏数据的场景进行分析

thbcm阅读(112)

典型应用场景包括:Netflix用户评分(大部分电影未被观看)、社交媒体连接(每人只认识一小部分用户)、电商用户与产品的交互记录。

MoE 的关键不是专家多,而是路由稳

thbcm阅读(108)

MoE 想拆开的就是这根绑带。它不让每个 token 都访问全部 FFN 参数,而是准备一组专家 FFN,再用
Router 给每个 token 选择少数几个专家。总参数可以很大,单次激活的参数仍然保持较小。

记录一个由浮点运算引起的崩溃

thbcm阅读(106)

在那位同事排查了一段时间后,6月18号,同事突然通过微信发来定位信息和调试崩溃信息,说很奇怪,崩溃点发生在一条if语句中……

联系我们