thbcm的文章

技术专栏

我用Awesome-Graphs看论文:解读Pregel

thbcm阅读(282)赞(0)

上次向大家分享了论文图谱项目Awesome-Graphs的介绍文章 《论文图谱当如是:Awesome-Graphs用200篇图系统论文打个样》,这次我们就拿图计算系统的奠基文章Pregel开篇,沿着论文图谱的主线,对图计算系统的论文内容进行...

技术专栏

LLM并行训练7-混合并行总结

thbcm阅读(268)赞(0)

如果靠脑补来调整这些参数, 会存在一个非常巨大的搜索空间, 很难找到最优于计算效率的方法, 所以需要先通过理论分析确定各个参数的大致范围. 最后再通过有限次尝试找到较优的方案. 本章参考nvidia的调参实践GTC演讲, 结合GPT3训练例...

联系我们