Python 原生封装 Llama.cpp 大模型推理接口

首先 GGUF 是 llama.cpp 项目作者 Georgi Gerganov 于 2023 年 8 月 21 日推出的大模型文件存储格式标准，用于替代老旧的 GGML 格式。原始大模型（如 Llama、Qwen、Mistral 等）由各厂商完成训练，并以 Hugging Face PyTorch 格式发布原版权重。开发者需要借助 llama.cpp 提供的转换工具，将 HF 原版权重转换导出为 GGUF 文件，模型才能够在 llama.cpp 生态中完成本地推理运行。