SmolLM: 一个超快速、超高性能的小模型集合

2024-11-01 分类：技术专栏 阅读(160) 评论(0)

近期，人们对能在本地设备上运行的小语言模型的兴趣日渐增长。这一趋势不仅激发了相关业者对蒸馏或量化等大模型压缩技术的探索，同时也有很多工作开始尝试在大数据集上从头训练小模型。