数字很诱人,但它有一个苛刻的前提:
原版 llama.cpp 与现行 Ollama 都无法运行它。权重不在普通的数值基底上,运行时必须执行 activation 侧的 Walsh–Hadamard 变换,而这个变换至今没有合并进上游 llama.cpp。
数字很诱人,但它有一个苛刻的前提:
原版 llama.cpp 与现行 Ollama 都无法运行它。权重不在普通的数值基底上,运行时必须执行 activation 侧的 Walsh–Hadamard 变换,而这个变换至今没有合并进上游 llama.cpp。