thbcm的文章

技术专栏

大模型function calling多轮对话开发示例

thbcm阅读(56)赞(0)

模型实际上从不自行执行函数,仅生成需要调用的函数名称和调用的参数,应用自行判断执行,对于langchain等框架则把这一层封装到框架中。并且传入的函数描述,和输出的函数调用描述都是计算在token上。 如果确实想使用openai相关模型,可...

技术专栏

注意力机制下的位置编码的理解和梳理

thbcm阅读(48)赞(0)

这种“顺序盲视”源于其核心组件——自注意力(Self-Attention)机制固有的置换不变性(更准确地说是置换等变性)。举一个简单而有力的例子:对于一个原始的Transformer模型,“猫追逐狗”这句话与一堆无序的词汇集合 {猫, 追逐...

联系我们