Ubuntu 大模型HF转GGUF全流程实践指南

2026-09-17 分类：技术专栏 阅读(6) 评论(0)

1、首先HF模型加载、格式转换、权重量化均会产生高额内存占用，可提前配置大容量磁盘Swap虚拟内存，本次配置8G缓存。