解密Prompt系列65. 三巨头关于大模型内景的硬核论文

大语言模型在推理阶段，不更新权重的情况下，仅仅通过提示中的几个例子，就能学会新的模式。这是如何发生的？


ICL既微调，Attention层处理上下文的过程，等价于对MLP 层做了一次隐式的梯度下降更新。 整个网络在推理时，临时变成了一个专门处理当前任务的“特化专家”。