从 TensorSharp 视角解读 Ternary Bonsai 2 27B:当 1.72 比特的权重遇上 Hadamard 变换

数字很诱人,但它有一个苛刻的前提:
原版 llama.cpp 与现行 Ollama 都无法运行它。权重不在普通的数值基底上,运行时必须执行 activation 侧的 Walsh–Hadamard 变换,而这个变换至今没有合并进上游 llama.cpp。

赞(0)
未经允许不得转载:小狮博客 » 从 TensorSharp 视角解读 Ternary Bonsai 2 27B:当 1.72 比特的权重遇上 Hadamard 变换
分享到: 更多 (0)

联系我们