在 K8s 上跑大模型推理,为什么越来越多人选了 KServe?

你的团队是不是也经历过这个阶段:第一个模型上线,写个 FastAPI 套个 Docker,半天搞定;第五个模型上线,开始复制粘贴改 YAML;等到第二十个模型、三个框架、两种 GPU 同时在线时,没人说得清哪个版本在跑、流量该怎么切、半夜扩容靠什么触发。

赞(0)
未经允许不得转载:小狮博客 » 在 K8s 上跑大模型推理,为什么越来越多人选了 KServe?
分享到: 更多 (0)

联系我们