发生了什么：给多模态模型配一套视觉档案
多模态模型能看图，但看完之后往往就“忘了”。在需要连续交互的任务里，比如玩一个没给规则的游戏、走迷宫、在浏览器里完成多步操作，模型不仅要记住物体在哪、朝向如何，还要理解每次动作前后环境发生了什么变化。
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出了一套视觉原生的Harness——VISTA。它的核心主张是：不重新训练基础模型，而是改变模型获取、保存和使用视觉信息的方式。
所谓Harness，可以理解为套在模型外面的“脚手架”。去年11月，Anthropic曾以长时间编程任务为例介绍过Harness：用任务清单记录待办，用进度文件和代码记录已完成的工作，让模型跨多个上下文窗口持续推进任务。但那套机制主要靠文字和代码保存状态。VISTA要解决的是：当任务发生在真实视觉环境里，光有文字记忆不够用。
为什么重要：文字摘要会丢掉关键画面
在ARC-AGI-3这类交互式视觉推理基准中，游戏规则和目标不会预先给出，智能体必须通过观察和行动自行摸索。一种已有思路是把画面转成数字文本网格，再让模型写程序模拟环境规则。
问题在于，环境越复杂，物体的外观、空间关系和动态变化就越难被完整翻译成文字和代码。随着交互历史变长，早期画面会逐渐被移出上下文，或被文字摘要替代。而模型第一次看到一张图时，未必知道哪个细节后面会变得重要——提前写笔记很难保证够用。
VISTA的切入点是：让模型在推理需要时，重新检查过去看到的视觉信息。
三个组件如何配合
VISTA设计了三个核心组件：
视觉观测负责把环境画面提供给模型。在ARC-AGI-3实验中，VISTA将官方提供的64×64画面放大为512×512的PNG图像，保留颜色、外观和空间关系。
无损视觉记忆负责保存画面。每次执行动作后，环境返回的所有画面都会被完整保存，包括动作过程中的动画中间帧，并按回合号和帧号建立索引。模型不必提前判断哪些信息值得记住，先把视觉经验完整存下来。
主动视觉检查负责按需回看。通过inspect工具，模型可以指定某个历史回合调出对应画面，也可以裁剪、放大局部区域检查细节；如果想知道某次操作改变了什么，还能一次调出多帧对比动作前后的变化。
执行流程上，每个回合开始时模型先观察当前画面和可用动作，结合此前经验判断环境状态并提出行动假设。信息不足时调用工具回看历史画面、放大局部甚至读取像素信息。找到证据后，模型先预测操作可能带来的变化，动作执行完再把实际结果与预测对比，修正对规则的理解。
值得注意的是，VISTA虽然完整保存历史画面，却不会把所有图片塞进上下文。默认每次动作后只向模型展示最后一帧，中间画面统一存在视觉档案里，等需要时再主动调取。这样既保留完整信息，又避免大量历史图片持续占用上下文空间。
此外，VISTA还引入两份文字笔记：GUIDE.md记录不同关卡之间可复用的规则和经验，WORKING.md记录当前关卡的状态、进度和后续计划。当上下文接近上限时，模型先整理交接摘要，再进入新窗口继续执行，此前的文字笔记、动作历史和视觉档案都会保留。
实验数据说明了什么
在ARC-AGI-3全部25个公开游戏上，搭配VISTA的Claude Opus 5.0相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%；换成GPT-5.6 Sol同样全部通关，得分99。
团队还在另外三个基准上做了测试：
- GameWorld的170项任务中，使用相同的GPT-5.6 Sol模型，相比官方基础框架，成功率从40.0%提高到63.3%；
- AI GameStore的10个游戏中，综合得分从47.3升至140.3（人类中位数归一化为100）；
- BabyVision选取的39道迷宫与连线题上，准确率从41.0%提高到63.2%。这组任务只有静态图片，模型也能通过放大局部、检查像素改善判断。
这些结果指向一个判断：保存原始画面、让模型按需回看，可以进一步发挥现有多模态模型的能力。同一套VISTA框架只需少量适配，就能用于不同的游戏与谜题。
对读者意味着什么
对关注AI工具的人来说，VISTA的价值不在于又发布了一个新模型，而在于它提示了一条工程路径：当模型能力本身趋于稳定时，外围的上下文管理、记忆组织和工具调用设计，可能成为决定任务成败的关键变量。
这套思路的适用边界也需要看清。目前验证集中在游戏、迷宫、连线题等视觉交互任务上，团队将更接近物理世界的具身任务列为后续研究方向。论文中的评测结果来自特定模型与基准组合，换用其他模型或任务时效果是否稳定，尚需更多验证。VISTA本身不训练新模型，环境理解、行动规划和推理仍由现成的多模态模型完成，Harness负责工具调用、保存视觉历史并在需要时提供证据——这意味着它的效果上限仍受底层模型能力约束。
论文的三位共同第一作者为Qiushi Han、胡珂雅和Linlu Qiu，另外两位作者为Cathy Wu和何恺明。
