thbcm的文章

技术专栏

Nano-vLLM-Ascend

thbcm阅读(70)赞(0)

nano-vllm是开源的一个gpu推理项目,基于开源版本弄的一个ascend npu版本推理小demo,旨在帮助初学者了解推理的整体流程,区别于vllm,nano-vllm体量更小,麻雀虽小五脏俱全,更有助于初学者学习。

联系我们