ggml 简介

2025-01-03 分类：技术专栏 阅读(55) 评论(0)

相比于
llama.cpp 和
whisper.cpp 等项目，ggml 也在一直不断广泛普及。为了实现端侧大语言模型推理，包括
ollama、
jan、
LM Studio 等很多项目内部都使用了 ggml。