慢慢

网站与工具 · 2026

给本地 Agent 补上视觉输入,一条分流链路

主模型链路不能处理图片时,我没有更换整个 Agent,而是让独立视觉 provider 先读图,再把文字描述交回主链路。resolver、requirements 与工具调用都通过了基础验证。

给本地 Agent 补上视觉输入,一条分流链路

这次修的是本地 Agent 的视觉输入。原有主模型可以处理文字,却不能接受图片请求。聊天、工具和已有配置都已经能工作,整条主链没必要重做;缺的是一条明确的图片分流,谁接收图像,失败时怎样返回,描述又怎样进入后续任务。

我保留主链路,只给图片单独接一个视觉 provider。图片先进入视觉链路,转成文字分析,再交给主 Agent 继续推理。历史记录里确认过原主模型链路对图片请求返回错误,也用同一服务中的一个视觉能力模型做过极小图片请求验证。公开档案不记录 provider、模型名或端点。视觉 provider 分流链路示意

这个改法的好处是问题能分清。主模型继续处理文字和工具,视觉链路负责把图片看成可读描述。失败时也更容易知道是哪一段出了问题,是 resolver、依赖条件、视觉工具调用,还是后续文字推理没有接住。

Codex 定位了 resolver 的选择结果,验证主链路的图片错误,探测可用视觉能力,修改配置,并用最小图片完成端到端检查。公开正文删掉了服务名、模型名和全部配置值。我确认只改视觉分流,不动主聊天模型。验收覆盖解析结果、依赖条件、工具成功状态和一个基础颜色样例,没有用私人图片做公开证明。

集成方法与验证边界可以公开,具体 provider、模型、端点、额度和本机配置继续保密。一次颜色测试只能证明最小链路可用,不能代表复杂 OCR、图表、医学影像、真人照片或长期稳定性。外部服务变化后仍需重新验证。