欢迎光临
我们一直在努力

技术专栏 第102页

大模型评估排障指南 | 关于推理

thbcm阅读(34)赞(0)

如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。但如果增大 batch size (硬件条件允许的话) 将会加快推理速度。

Windows上,10分钟构建一个本地知识库-小狮博客

Windows上,10分钟构建一个本地知识库

thbcm阅读(30)赞(0)

阅读本章时,已默认安装你的个人电脑上安装了Python 3.6-3.12中的一个版本、以及PyCharm和conda。以及按照第三章示例,已经在阿里云创建了大模型的API-key。 (1)现在让我们下载阿里云百炼平台提供的一个RAG运行包。...