《从统计方法到大语言模型：NLP 的问题与方法演进》

本文以
问题如何传递为线索，讨论从统计自然语言处理到 2022 年对话式助手形成的过程。重点是五类变化：表示如何从离散符号变成可学习向量，上下文如何从固定窗口扩展到动态状态与直接访问，序列转换如何形成可复用架构，预训练如何利用大规模无标注文本，以及模型如何从任务微调走向上下文学习与后训练。这里的“形成”是技术条件逐渐积累的结果，并不意味着每项研究都以今天的大模型为目标。