大模型评估排障指南 | 关于推理

thbcm阅读(329)

如果你想要评估结果完全可复现 (在特定的输入 prompt 和硬件条件下),你可以把 batch size 可以设为 1。但如果增大 batch size (硬件条件允许的话) 将会加快推理速度。

Windows上,10分钟构建一个本地知识库

thbcm阅读(350)

阅读本章时,已默认安装你的个人电脑上安装了Python 3.6-3.12中的一个版本、以及PyCharm和conda。以及按照第三章示例,已经在阿里云创建了大模型的API-key。

(1)现在让我们下载阿里云百炼平台提供的一个RAG运行包。地址如下:


https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250414/odwvrb/local_rag.zip

下载之后解压,使用Pycharm打开此文件夹,如图4-1所示。





图4-1 创建local_rag项目

联系我们