小狮博客-一个专业的技术博客平台小狮博客

欢迎光临
我们一直在努力

最新发布 第69页

技术专栏

vivo官网APP首页端智能业务实践

thbcm阅读(28)赞(0)

端智能广义上来说,是指将人工智能算法部署到端侧设备中,使端侧设备具备感知、理解和推理能力;狭义上来说,端智能就是将机器/深度学习算法集成到端侧设备中,通过算法模型处理端侧感知的数据从而实时得到推理结果。而所谓的”端”...

技术专栏

SgLang代码细读-3.Cache

thbcm阅读(24)赞(0)

功能: 将 token 的 KV Cache索引映射到其 KV Cache数据, 实际的实现中这个依然是2大类组合形成的, 包括 PagedTokenToKVPoolAllocator与 KVCache接口类和其对应的子类 (只看了page...