思考 #AI#Agent#harness

AI 从最开始的 Chatbot(聊天机器人),发展到如今能够调用工具、操作电脑,甚至通过机器人参与真实物理世界的 Agent(智能体)。短短几年,AI 所能做的事情越来越多。

按照自己的兴趣进入一个项目

初级开发者不必在一开始就扎入满屏的官方开发文档,可以直接按照自己的兴趣进入一个项目,开始使用 AI 辅助开发。遇到具体问题,再带着问题阅读文档、理解实现。

但使用 AI 不代表替代自己的思考。在遇到问题的时候如何解决,体现了你如何掌握 AI。

你需要让 AI 给你解释原理,自己分析完整的链条,而不是只是单纯地向 AI 描述出现的问题。AI 可能第一次就解决了你的问题,但它也可能在某些地方作出了取舍。随着项目扩大、复杂程度加深,如果不深入了解项目的内核以及运行逻辑,AI 留下的黑盒就可能让你停下开发的脚步。

对我来说,让 AI 解释原理之后,还需要结合源码、日志和实际结果,分析调用链、修改影响了什么,以及为什么这样处理。这样才能在下一次出现问题时继续判断和修改。

在一次次使用中发现需求和问题

一个系统的功能很难一次就考虑周全,需要在一次次使用中发现需求,以及问题。

有了新需求,还需要考虑能否利用 AI 思考、理解自然语言和调用工具的能力来完善,让系统更趋于自动化。

比如,整理笔记时,工具先把课件转成图片,AI 可以判断拼接图是否看得清,再决定要不要查看单页。整理视频时,AI 可以根据讲解内容判断哪里需要看看画面,再调用工具抽帧、查看,决定选哪一张。

我希望把这些能力用在实际过程里:明确、重复的操作交给工具,涉及内容理解和取舍的地方,让 AI 根据材料作判断,再回到实际使用中检查效果。

AI 是引擎,还需要上下文和工具

我的另一个想法是:AI 是引擎。想让它变成一辆能用的车,就需要增加其他东西。按照现在的术语,这些围绕模型提供的上下文、工具、权限和执行流程,可以称为 harness。

想让 AI 融入你的工作,就要给它提供对应的上下文、适配的工具,尽量让它拿到和你一样的资料,再用它自身的理解与判断能力来处理工作。

我在几个项目中尝试这件事:

  • 本地 Agent 上下文系统:把项目背景、当前进度与完成历史保存下来,让新窗口可以继续已有工作;项目增多后,再通过 Hub 和逐层索引找到相关内容。
  • 云端网页 AI 与本地协同:通过隧道接入本地工具,让网页 AI 能阅读本地资料、修改项目、执行命令,并通过界面查看结果。
  • 学习自动化:提供转图、资料获取、语音转录、时间定位和抽帧工具,再用规范组织过程,让 AI 判断材料、选择画面和整理笔记。

这些都是我目前正在实践和尝试的。我从自己的兴趣和实际需要出发,借助 AI 开始一个项目,再通过理解、使用和不断调整,把它变成可以继续维护的东西。