小狮博客本文重点回答：新增参数应放在深度、主干宽度还是前馈网络（FFN）？模型规模与训练 token 怎样配比？上下文长度、batch 和学习率又怎样校准？讨论以稠密、自回归 Transformer 的预训练为主，从 Kaplan 与 Chinchilla 出发，结合架构实验说明哪些选择已有依据，哪些仍需试验。
大语言模型的 Scaling：扩展方向、收益规律与训练配置
未经允许不得转载：小狮博客 » 大语言模型的 Scaling：扩展方向、收益规律与训练配置
本文重点回答：新增参数应放在深度、主干宽度还是前馈网络（FFN）？模型规模与训练 token 怎样配比？上下文长度、batch 和学习率又怎样校准？讨论以稠密、自回归 Transformer 的预训练为主，从 Kaplan 与 Chinchilla 出发，结合架构实验说明哪些选择已有依据，哪些仍需试验。