小狮博客-一个专业的技术博客平台小狮博客

最新发布 第1265页

技术专栏

LLM并行训练7-混合并行总结

thbcm阅读(220)赞(0)

如果靠脑补来调整这些参数, 会存在一个非常巨大的搜索空间, 很难找到最优于计算效率的方法, 所以需要先通过理论分析确定各个参数的大致范围. 最后再通过有限次尝试找到较优的方案. 本章参考nvidia的调参实践GTC演讲, 结合GPT3训练例...

联系我们