使用第三方工具降低 AI Agent 幻觉问题的实操经验分享
序
我应当不算是在 openclaw 爆火的初期使用的那批人。事实上，我一开始对这类 ai agent 工具的第一想法是：如果每一项任务都需要 AI 处理，那么消耗的token数量实在是太多(所谓的性价比问题)。但是随着 deepseek v4 flash 和 mimo v2.5 这类低成本的AI的出现，以及我对 skills, mcp 等概念进一步的理解，以及在阅读了知乎上一篇关于使用 ai agent 搭配 skill 和 cli 降低 token 消耗的文章。我认为 AI Agent 相对于我过去使用 kilo code 使用 AI 编程自动化脚本的老方案，有着更许多优势。因而被所谓”自进化”的概念所吸引，我开始使用 Hermes Agent 来帮我解决日常任务并总结工作流。在一段时间的使用之后，我对于AI Agent通过工具改善AI Agent 幻觉问题有了更加深入的理解，并借这篇文章分享我的经验。
目标
使用 AI Agent，让 AI 学习使用第三方工具进行图片识别的工作流，并让他总结为 skill并进行脚本化，从而降低 AI 本身的幻觉问题。
一些预备知识
- AI 幻觉的产生：AI幻觉，简单来说，就是AI训练里缺少相关知识的语料数据，而在概率机器中，AI本身依旧会倾向于给出一个答案。因而会生成所谓“幻觉答案”。
- Skill: skill 本身可以理解为 prompt 工程的产物，他的本体就是一个文本文件，ai 会在必要时候阅读skill的内容，并按其给出的工作流和约束执行任务
- 第三方工具：“工欲善其事 必先利其器”，在实操中， agent 能达到的知识边界，就在于你能提供什么工具给他。MCP、RAG、websearch工具，就是最早期拓展 ai 知识边界的外部工具。而随着agent 的更新，如今的agent已经可以执行代码和运行终端了，这为我们提供更加定制化的工具提供了基础。而其中的具有重要意义的工具是以“cloakbrowser”为代表的浏览器工具的出现，他让ai agent 能够通过编写脚本调用浏览器，从而逃过反爬虫的限制。
图片识别的幻觉问题
图片识别，尤其是对二次元角色的识别问题，一直是 AI 模型幻觉出现的重灾之一，尤其对于mimo v2.5 这类较低参数量的模型来说，对于浩如烟海的二次元角色，大模型可以通过多模态识别提取出角色的各类外貌、服装、姿态特征，但是让其准确给你识别出来角色是什么，那几乎只能得到充满“幻觉”的答案。
使用第三方工具进行处理
工具的选用
对于此类工作降低幻觉率的关键在于选择合适的工具。第三方工具的选取本身是需要用户的理解和经验的。我个人在过去在图片的反向检索任务中，会使用如下几个工具：
- Google Lens 谷歌搜索本身就可以以图搜图，在过去的经验中，其准确率可以相当的高；而随着AI的发展，谷歌本身也可以提供ai识别结果，这更加方便了结构化数据的提取；但是这个方案本身在ai调用时会遇到相对严峻的反爬虫挑战，因此我们需要使用cloakbrowser的虚拟浏览器
- IQDB Search 他是相对老牌的以图搜图引擎，他的数据库相对于谷歌搜索来说没有那么大，但是他的元数据就会详细的多。
- AnimeTrace 相对新的搜索引擎，底层是针对二次元角色进行特化的AI识别。能够对角色的位置给出答案
我们使用三种搜索引擎进行检索，但是各个检索来源很有可能给出不同的答案，因此我们需要校验各个搜索引擎给出的结论是否匹配。在此处我会用到的几个网站是：
- 萌娘百科，萌娘百科会收集很多角色的词条，并且提供图片，我们可以调用api下载角色参考图给ai进行对比
- Bangumi，这个网站同样也会提供角色参考图
- VNDB，这个网站专注于视觉小说，也能提供角色参考图，可以作为前两者的补充
工作流的拆解
此类任务可以抽象分为搜索和校验两步，我们可以让AI编写这样的脚本。
- 向 Google Lens 和 IQDB Search 和 AnimeTrace 三个网站发送图片进行请求，并将他们返回的结果进行标准化，合并成成一个候选清单。
- 就候选清单向Bangumi、萌娘百科和VNDB发送请求，获取角色参考图。并让AI进行对比，返回SAME/DIFFERENT/NOT SURE
- 让AI汇总角色候选和对比结论，从而输出最终结果。
总结
在让ai使用以上工作流构建出来的skill进行操作之后，agent能够正确识别图片角色身份。
