一个 Deployment 就能跑 vLLM,为什么还需要 KServe?

thbcm阅读(66)

在 Kubernetes 上启动一个推理服务并不难。如果只有一个模型,vLLM + Deployment 确实够了。但服务多起来以后,模型从哪里加载、使用哪个 Runtime、GPU 怎么分配、服务怎么暴露,每个服务都要重复处理一遍,配置很快就会散落在一堆 YAML 里。KServe 解决的不是怎么启动 vLLM,而是怎么用统一的方式管理这些模型服务。

TensorSharp 支持 Jev 模式了:一次去噪,直接读出决策

thbcm阅读(64)

Jev 是 Typesafe.ai 提的一条”决策模型”路线,不做开放式生成,只回答有边界的结构化问题:是/否(Jev 里叫 noul)、多选、评分。调用方给一段状态(state)加一组带类型的问题,模型返回每个答案的概率和置信度。

开多个 Agent 后 Claude Code 账单翻了 4 倍,一个配置解决了

thbcm阅读(68)

打开 Claude Code 让它帮你重构一个 Spring Boot 模块,你以为就是一个对话、一个 API 调用。但实际上,Claude Code 在背后悄悄开了三个独立的子 Agent:一个扫描代码结构,一个分析依赖关系,一个执行具体修改。每个 Agent 是独立的 Claude 实例,各自消耗 token,各自计费。

百万订单的架构演化

thbcm阅读(72)

公司做的是花店 SaaS,核心业务包括聚合订单和聚合配送,当初为了快速验证业务。技术早期选型也是根据公司的资源情况定的。

宝塔面板+Nginx配置HTTP强制跳转HTTPS:解决网站不安全提示、重定向循环问题(适配CDN)

thbcm阅读(62)

HTTP协议传输数据明文,存在被窃听、篡改的风险;HTTPS依靠SSL证书对传输内容加密,是现代网站的基础要求,同时也是搜索引擎收录、小程序对接、第三方API接口调用的硬性前提。本文结合宝塔面板,分别讲解可视化一键配置、Nginx自定义代码配置两种方案,同时梳理CDN环境、反向代理场景下的踩坑点。

[深度学习] 大模型学习10-Agent基础原理与主流范式

thbcm阅读(60)

如今很多大模型平台虽已提供智能体功能,但工具和流程往往由平台预先设定。想自建智能体,或者想把手上的智能体用得更好,就需要理解底层机制,这样才能接入自己的工具,按自己的需要安排执行流程。本文先介绍智能体的核心概念和基本组成,再梳理其发展脉络和几类典型范式。文中主要知识点附有对应代码,说明任务拆分、工具调用和执行流程在实现层面如何组织。若希望深入了解本文涉及的技术,以下资料提供了更完整的细节与背景:
modelscope-classroom和
A Visual Guide to LLM Agents。

联系我们