昇腾多机推理极速上手:10倍简化的 DeepSeek R1 超大规模模型部署

GPUStack 是一个
100%开源的模型服务平台(MaaS,Model-as-a-Service),提供
高性能推理与完善的模型服务管理能力,能够运行在
NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程、天数智芯、寒武纪、沐曦等多种 GPU 上,轻松构建异构 GPU 集群,支持
vLLM、MindIE、llama-box 等各种推理引擎。

赞(0)
未经允许不得转载:小狮博客 » 昇腾多机推理极速上手:10倍简化的 DeepSeek R1 超大规模模型部署
分享到: 更多 (0)

联系我们