KV Cache 与 MQA/GQA：从推理优化看注意力机制的工程化演进

2025-12-01 分类：技术专栏 阅读(224) 评论(0)

在 Transformer 的自注意力机制中，第
\(t\) 个位置的输出需要与历史所有位置进行交互：