当对话模型遇上向量模型，vllm production stack 又该如何应对?

2026-10-05 分类：技术专栏 阅读(14) 评论(0)

今天重温下自研推理工程的设计架构， 也便于我们深刻理解推理工程中的可能的优化点。