这项由Google DeepMind主导的掂量于2026年7月28日以预印本时事发布，论文编号为arXiv:2607.25537v1，有兴味真切了解的读者可通过该编号在arXiv平台查询齐备论文。

说到提醒词，大多量东谈主脑海中炫夸的画面大致是这么的：在聊天框里敲入一段全心措辞的翰墨，然后期待AI给出更好的谜底。往时几年，围绕怎么"好好跟AI语言"的掂量也曾发展成了一门空闲的学问，甚而有东谈主专门以此营生。但Google DeepMind的掂量团队最近建议了一个颇为簇新的问题：要是说翰墨提醒词不错被全心打算，那么图片提醒词是不是也不错？

这个问题背后，藏着一个也曾悄然发生的时刻退换。往时一年多时刻里，一类被称为"视频生成模子"的AI系统正在悄然升级为通用的视觉推理器具。这些模子不仅能生成面子的视频，还能通过"演示"来贬降低题——给它一张迷宫的图片，它能生成一段小球走出迷宫的视频；给它一谈物理题的暗示图，它能用动画展示球会滚进哪个桶。这类模子秉承两样东西作为输入：一段翰墨领略（刻画接下来要发生什么），以及一张图片（作为视频的第一帧）。掂量者们一直在戮力优化前者，却简直从未谨慎端量事后者。

Google DeepMind的团队决定填补这个空缺。他们将这套方法定名为VIPE，也等于"视觉提醒工程"（Visual Prompt Engineering）。中枢想路其实并不复杂：在把图片喂给视频模子之前，先用图像裁剪模子对这张图片动着看成——不转换题目自身，只转换它的视觉呈现款式。一谈正本用素描作风画出的物理题，不错被改形成摆满实木架子和台球的传神场景；一组详细标志，不错被渲染拓荒体的3D什物。

论断相配出东谈主猜想：只是转换图片的视觉作风，不改任何题目内容，视频模子的答题正确率就能大幅普及。在某些任务上，这种隧谈的"换穿着"操作带来的性能普及，甚而荒芜了让模子反复尝试淹没谈题二十次的效力。

一、为什么给AI"换孤苦行头"这件事挑升旨

在稳重张开掂量细节之前，有必要先通晓这件事为什么值得作念。

商酌这么一个场景：你想测试一条鱼的游水速率，但你把它放在了一块旱地上。测试限度自然很倒霉，但这个倒霉的限度反应的不是鱼的确实游水才气，而是测试环境的不匹配。这个听起来有些乖谬的比方，恰正是Google DeepMind掂量团队在这项责任中的中枢发现：视频生成模子在详细、草图作风的图片上弘扬倒霉，并不一定意味着它们推理才气差，而可能只是因为它们被放在了"旱地上"。

视频生成模子是用海量确实寰宇视频教师出来的。它们最闇练的是确实场景里的光影、质感、物理通顺款式。当你给它们一张瑕瑜线条草图，让它们预计一个白色圆圈会滚进哪个线条画的容器里，它们其实是在一种生疏的视觉语言下责任。限度自然不睬想。

这个不雅察引出了掂量的中枢假定：要是把草图变成传神的相片作风，让阿谁白色圆圈变成一颗确实的台球，让那些线条变成实木货架，视频模子会不会弘扬得更好？谜底是确定的。

这种现象被掂量团队称为"现实主义偏好"——视频模子自然偏好在写实场景中推理，而这恰恰给视觉提醒工程留出了可操作的空间。

二、实验是怎么作念的

掂量团队搭建了一套齐备的活水线，分为三个规范，各司其职。

第一步叫作念"构想者"。这个变装的任务是想出怎么修改图片。在自动化实验中，掂量团队用一个大型语言模子（具体是Gemini 3.1 Pro）来担任这个变装。它会稽查原始图片，然后用翰墨刻画一种新的视觉作风——比如"把这张草图变成一个确实的台球滚落木制货架的场景"。要道敛迹是：题目的逻辑结构必须齐备保留，拦阻物的数目、位置、角度皆不行变，只须视觉呈现款式不错改。

第二步叫作念"裁剪者"。它负责按照第一步的指示，确凿着手改图片。掂量团队在实验中使用了Nano Banana Pro（现实上是Gemini的图像生成模块）来完成这个责任。关于淹没张图片，裁剪者会生成多个候选版块，默许是五个。

第三步叫作念"过滤器"，是可选的。当裁剪者产出了多个候选图片后，过滤器负责从中挑出质料最好、与原图逻辑最吻合的那一个。这个变装一样由Gemini 3.1 Pro担任，它会仔细比对裁剪前后的图片，确保题目自身莫得被随机转换。

完成这三步之后，矫正巧的图片才被送给视频模子，视频模子生成一段演示视频，临了由一个"裁判"（自动评分模块）判断谜底是否正确。

通盘经过的打算理念是：弥远对题目的逻辑内容保执零打扰，只在视觉弘扬层面作念著述。就像把淹没谈数学题从手写板书抄到打印稿上——题目没变，但读者的阅读体验变了。

三、用一谈经典物理题考试效力

掂量团队采选的第一个测试场景是一个叫作念VPCT的数据集。这个数据集的设定很直不雅：屏幕上有一张草图，一个白色圆圈从尖端登程，沿着几条斜线（代表拦阻物）往下滑落，最终落入底部三个容器之一。题目要求预计圆圈会落入哪个容器。

原始版块总共是详细的线条画作风，玄色线条代表拦阻物，白色圆圈代表球，莫得任何质感、光影或确什物体的特征。经过视觉提醒工程处理后，一样的场景被渲染成了传神的相片：白色圆圈变成了红色台球，玄色线条变成了实木搁板，通盘场景看起来就像一个确实存在的台球滚落展架的实验装配。

掂量团队用多个视频模子测试了这个转换的效力，限度相配显贵。以开源模子Wan2.2为例，在原始草图条目下，它的正确率接近就地谋略水平（就地谋略三选一的概率是33.3%），英文提醒版块的正确率只须32.4%。换成传神图片后，淹没个模子的正确率踏实地荒芜了就地水平，达到40%以上。关于Google自家的Veo 3.1模子，转换愈加显着：原始草图下正确率是41.3%，换成传神图片后告成跳升到59.3%，普及了整整18个百分点。另一个模子Omni Flash则从56.3%高潮到67.5%。

为了考据确凿起作用的是"写实感"而非"立体感"，掂量团队还专门作念了一组对确乎验：他们制作了一批看起来有立体感但纹理总共不确实（比如棋盘格纹理、荧光色拼接）的图片。限度简直通盘模子在这种"假3D"条目下的弘扬，与原始草图比较莫得显贵各异。这领略让模子变灵巧的不是3D效力自身，而是确实材质、确实光影带来的写实感。

四、让机器自动找到最好的"视觉外套"

手动打算一套合适的图片矫正决议是可行的，但这需要东谈主对模子有一定的了解，也比较费时。更想象的情况是让通盘过程自动完成。掂量团队测试了两种不同的自动化计谋。

第一种计谋叫作念"目田说明构想"。浅近说，等于让一个AI（Gemini 3.1 Pro）在莫得任何预设框架的情况下，目田地为每个任务想出新的视觉呈现决议。为了保证万般性，每次生成新决议时，AI皆能看到之前也曾建议过的通盘决议，从而幸免近似。掂量团队对六个不同的视觉推理任务各自生成了20种不同的图片变体，再用这些变体测试Veo 3.1的弘扬。

实验心事的任务包括：上文提到的物理滚球预计（VPCT）、四种不同难度的迷宫求解（从5×5的浅近方格迷宫到时事不规矩的复杂迷宫）、泊车场解谜（RushHour，需要转移挡路的车辆让方针车辆出场）、视觉搜索（在一堆打扰物中找出两个相宜特定热诚和时事条目的方针）、数字排序（让数字按从小到大的顺序逐个销毁），以及连点成线（用线邻接热诚疏导的两个圆点）。

在这些任务上，自动生成的视觉变体带来的失误减少率相配可不雅。以数字排序任务为例，最好的一个图片变体让失误率缩小了70%。泊车场解谜的某些变体让失误率缩小了75%。迷宫求解在某些难度级别上也获得了荒芜40%的失误减少率。不同的任务有不同的"最优视觉作风"——泊车场解谜在被改形成"阳极氧化铝金属拼图盒"作风时弘扬最好，而迷宫在被渲染成"街机游戏屏幕截图"作风（画面有细小的像素纹理）时效力最好。

第二种计谋叫作念"安祥意见裁剪"（ACE）。与第一种计谋的"举座换作风"不同，这种方法更像是一个外科大夫：每次只转换图片中的一个元素，比如换掉配景热诚，或者给数字加上边框，然后不雅察效力，再决定下一步改什么。通盘探索过程像一棵树：从原始图片登程，每一次裁剪皆是一个分支，效力好的分解救续延长，效力差的分支剪掉。

ACE方法还有一个关键秉性：它能从实验限度中记忆出端正，形成所谓的"规程"，然后用这套规程指示后续的搜索。比如关于数字排序任务，模子记忆出了几条反复收效的原则：高对比度的深色配景能匡助模子聚焦在出路元素上；给每个数字加上几何边框能增强视觉定位；把平面元素改成有质感的3D作风（比如黑板粉笔字）能普及物体在时刻维度上的踏实性。掂量团队终点指出，这些灵验计谋通常需要组合使用才能说明最大效力，单独使用任何一个效力皆更有限。

比较之下，被反复讲解无效甚而无益的操作包括：给物体添加高反光的金属材质（因为这种材质会在视频帧之间引入不踏实的光影变化）、过度加粗字体（会让数字领域无极）、以及把神颜色得过于秀气饱和（反而会分散模子的细心力）。

两种计谋各有优劣。目田说明构想更省计较资源，稳妥快速探索；安祥意见裁剪更缜密，在某些贫乏任务上能找到更好的单样本贬责决议。数字排序任务在ACE方法下甚而达到了100%的失误减少率。

五、视觉提醒工程与其他普及计谋的横向比较

掂量团队不仅测试了视觉提醒工程自身的效力，还把它与另外两种常见的性能普及计谋进行了告成比较：反复生成视频然后投票（也叫"自洽性"方法），以及告成改写翰墨提醒词。

先看与反复生成的比较。这种计谋的逻辑是：淹没谈题生成多个谜底，然后用多量票决定最终谜底，就像让多个陪审员空闲投票一样。掂量团队在VPCT任务上让Veo 3.1反复生成20次并投票，正确率从41.3%高潮到50%，普及了大要8.7个百分点。而使用一次视觉提醒工程处理过的图片，仅用单次生建树也曾达到59.3%，比20次反复生成还逾越快要10个百分点。

更道理道理的是，这两种计谋并不互斥，不错叠加使用。在矫正过的传神图片上再作念20次投票，最终正确率达到了68%，比原始草图加20次投票（50%）逾越18个百分点。

从资本角度看，这种比较愈加显着。生成一段8秒的视频需要大要3.2好意思元，而完成一次视觉提醒工程（包含5个候选图片的生成和过滤）只需要大要0.4好意思元，不到视频生成用度的八分之一。这意味着在疏导的预算下，把钱花在探索更多视觉变体上，比把钱花在生成更多视频上效力更高。掂量数据炫夸，关于同等预算，最优计谋通常是尽可能多地探索不同的视觉变体，每个变体只生成一次视频，而不是针对淹没个视觉变体反复生成。

再看与翰墨提醒工程的比较。掂量团队用一样的自动化框架，区分生成了20个图片变体和20个翰墨提醒变体，在四个任务上进行了告成对比。论断是：两种计谋皆灵验，但视觉提醒工程在多量任务上弘扬更好。以视觉搜索任务为例，最好的图片变体让正确率从4%跳升到62%，而最好的翰墨变体只可达到12%。数字排序任务上，最好的图片变体达到76%，最好的翰墨变体达到86%，这是少数几个翰墨计谋更优的案例之一。

值得一提的是，掂量团队还尝试了同期修改图片和翰墨的聚积优化，但限度莫得比单独修改图片更好。掂量者推测，这可能是因为聚积优化加多了搜索难度，生成的决议反而不如专注于单一维度锦上添花来得灵验。

六、视频模子为什么可爱确实感

当今回到最根柢的问题：为什么视觉提醒工程会灵验？掂量团队通过一个全心打算的实验给出了直不雅的解释。

他们创建了一个安祥递进的视觉矫正序列，从一个隧谈详细的合成场景登程，每次只往"确实"办法走一小步。着手是两个彩色圆点和两条虚线，代表两个物体沿各自旅途转移到交织点。第一步矫正：把虚线换成铁路轨谈，但圆点保执不变。第二步：把圆点换成火车车厢模子，但配景仍然是白色。第三步：加上确实的绿色草地配景，通盘场景看起来就像一段确实的俯拍铁路视频。

在每个阶段，掂量团队皆让Veo 3.1生成100段视频，然后由真东谈主评估员判断生成的视频是否"场景连贯"（即物体莫得臆造销毁、莫得就地变形、莫得难受其妙地转换外不雅）。限度沿着这条矫正旅途单调递加：纯详细场景的连贯性得分是0%，加上铁路轨谈后是11%，换上火车车厢后是24%，加上确实草地配景后是59%。每一小步朝确实感迈进，皆告成对应着视频模子生成质料的普及。

这个限度指向一个明晰的机制：在确实场景中，视频模子"知谈"物体应该怎么通顺，因为这类场景在教师数据里出现过无数次，物理端正是隐含在教师顾忌里的。但在详细场景中，模子莫得蹧跶的"顾忌"不错依赖，只可靠"猜"，而猜出来的限度通常是物体就地出现、销毁或变形——这对任何需要跟踪物体景况的推理任务皆是致命的打扰。视觉提醒工程的现实，等于把任务从模子生疏的视觉语言翻译到模子闇练的视觉语言。

七、这套方法并非对通盘AI模子皆适用

掂量团队还作念了一组补充实验，测试视觉提醒工程是否一样能普及图像生成模子的推理才气。他们选用了两个版块的Nano Banana（Gemini系列的图像生成模块），让这些模子告成从VPCT的图片预计球会落入哪个桶，谜底不错是一张图片（画出球落入某个桶的场景），也不错是一段翰墨（告成说"左边"、"中间"或"右边"）。

限度出现了一个道理道理的分化。关于图像生成模子，视觉提醒工程带来的普及要么细小，要么甚而是负面的。Nano Banana Flash在图像输出模式下，换用传神图片后正确率反而从37%着落到21%。但淹没个模子切换到翰墨输出模式，在原始草图上的正确率就达到了58%。

这个限度揭示了一个关键的区别：图像生成模子在教师中斗争过各式作风的图片，包括详细作风和写实作风，因此对它们来说详细草图并不生疏，视觉提醒工程的"翻译价值"就要小得多。而视频模子的教师数据简直清一色是确实寰宇的视频，详细草图对它们而言是确凿生疏的范围。视觉提醒工程能说明作用，正是因为它弥补了输入形态与模子教师溜达之间的那谈鸿沟。当那谈鸿沟本来就不存在时，VIPE自然也就毋庸武之地。

此外，掂量团队还发现了一个值得存眷的现象：自然Gemini 3.1 Pro作为纯翰墨视觉问答模子，在VPCT原始数据集上能达到96%的超高正确率，但当掂量团队把桶翻转过来畸形时，正确率坐窝崩溃到4%。更要道的是，这个模子能准确识别出桶是畸形的，但仍然会告诉你球会"落入"某个畸形的桶——它通晓视觉信息，却无法把这个信息与物理学问正确衔尾。这领略面前的视觉语言模子在VPCT上的高分，很可能来自某种视觉统计捷径，而非确凿的物理推理才气。

八、掂量者留给通盘范围的建议

基于上述发现，掂量团队建议了一个在学术评估层面颇具施行意旨的建议：在用视觉推理基准评测视频模子时，要是评测集自身是详细的、非写实的，那么测出来的收获通常只是模子确实才气的下限，而非确实水平。就像不行用让鱼在陆地上爬行的测试来评估鱼的通顺才气一样，用详细草图来评估视频模子的推理才气，现实上是在用失误的测试环境得出偏低的论断。

掂量团队建议：只须时刻条目允许，评测者应该主动用视觉提醒工程把详细测试场景滚动为写实场景，然后再测试模子才气。这么得到的限度才能更确实地反应模子的内在推理后劲。自然，掂量团队也坦承，模子对视觉作风如斯敏锐自身等于一个需要被修正的问题——想象中的模子应该能够在职何视觉作风下皆弘扬踏实，不需要用户帮它"换穿着"才能泛泛责任。这与早期语言模子对措辞高度敏锐的问题如出一辙，当年东谈主们发现"Obama worked as a ___"和"Obama is a ___ by profession"会得到判然不同的填充限度，如今类似的敏锐性正在视觉模态上重演。

归根结底，这项掂量想传递的信息并不复杂：关于面前的视频生成模子，你给它看的图片长什么样，会极地面影响它能解出几许题。这个发现既是一个不错立即诳骗的施行技能，亦然一个提醒——在咱们庆祝AI推理才气获得新高分之前，也许应该先问一句：这个高分是在"陆地上"测出来的，照旧"水里"测出来的？

---

Q&A

Q1：视觉提醒工程（VIPE）具体是怎么转换图片的，会不会转换题目自身？

A：VIPE的中枢原则是只改视觉作风，不改题目逻辑。举个例子，原来的物理题里有一个白色圆圈和几条玄色斜线，VIPE会把圆圈改成确实的红色台球，把斜线改成实木货架，但拦阻物的数目、角度、位置总共不变。题目依然是那谈题，只是看起来更确实了。通盘过程会有一个过滤规范，由AI（Gemini 3.1 Pro）仔细核查矫正前后是否有逻辑变化，确保题目莫得被随机修改。

Q2：视觉提醒工程和屡次近似生成视频比较，哪种更合算？

A：视觉提醒工程更合算。以VPCT物理推理任务为例，生成一段8秒视频约需3.2好意思元，而完成一次包含5个候选图片的视觉提醒工程只需约0.4好意思元，不到视频生成用度的八分之一。实验数据炫夸，在疏导预算下，把钱花在探索更多不同的视觉变体上，比反复生成淹没张图片的视频效力更高。自然两种方法也不错叠加使用，效力会进一步普及。

Q3：视频模子为什么在写实图片上弘扬更好，在草图上弘扬更差？

A：视频模子是用海量确实寰宇视频教师出来的，它的"顾忌"里充满了确实场景里物体的通顺端正。当它靠近写实图片时赌钱赚钱软件官方登录，能调用这些顾忌预计物体怎么动；靠近详细草图时，它莫得蹧跶的参考，只可乱猜，限度等于视频里物体就地销毁、变形，根柢没法正确推理。掂量团队通过实考据实，每向确实感迈进一小步，模子生成的视频连贯性就会显着普及，从0%一谈升到59%。