小狮博客-一个专业的技术博客平台小狮博客

最新发布 第871页

技术专栏

大模型评估排障指南 | 关于推理

thbcm阅读(347)赞(0)

如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。但如果增大 batch size (硬件条件允许的话) 将会加快推理速度。

联系我们