欢迎光临
我们一直在努力

为了改一行代码,我花了10多天时间,让性能提升了40多倍—Pascal架构GPU在vllm下的模型推理优化

家里有张Pascal架构的显卡【划重点,后面要考】,最近发现本地大模型的性能在蹭蹭往上涨,于是开始研究下是否能在本地跑大模型。

赞(0)
未经允许不得转载:小狮博客 » 为了改一行代码,我花了10多天时间,让性能提升了40多倍—Pascal架构GPU在vllm下的模型推理优化
分享到: 更多 (0)