上午,
zhongkaifu/TensorSharp仓库合并了 PR #116——DeepSeek V4 Flash(下称 DSV4)正式接入 TensorSharp.Server,拿到 OpenAI 兼容接口和 continuous batching 多并发能力。当天晚上,作者 Zhongkai Fu 又推上了一个新分支:
feature/update_direct_cuda_backend_to_support_deepseek_v4,为 DSV4 手写了一条完全绕开 ggml 的直接 CUDA 后端。
小狮博客