为了改一行代码，我花了10多天时间，让性能提升了40多倍—Pascal架构GPU在vllm下的模型推理优化

2025-01-13 分类：技术专栏 阅读(189) 评论(0)

家里有张Pascal架构的显卡【划重点，后面要考】，最近发现本地大模型的性能在蹭蹭往上涨，于是开始研究下是否能在本地跑大模型。