[megatron代码阅读] 1. 初始化和组网

2025-01-16 分类：技术专栏 阅读(111) 评论(0)

从argparse中直接读取超参数配置. 如学习率, 正则化等. 从环境变量中获取rank等