新加坡国立大学：IPV-BENCH首创AI视频"不可能场景"

这项由新加坡国立大学Show Lab实验室的白泽宸、茨海和沈铭正领导的研究发表于2025年3月的arXiv预印本平台，论文编号为arXiv:2503.14378v1。有兴趣深入了解的读者可以通过https://showlab.github.io/Impossible-Videos/访问完整论文和相关资源。

在当今AI视频技术飞速发展的时代，我们每天都能看到各种令人惊叹的AI生成视频。从逼真的人物对话到精美的风景画面，AI似乎已经能够创造出任何我们能想象的视觉内容。然而，一个有趣的问题浮现出来：这些看似无所不能的AI视频模型，能否处理那些在现实世界中根本不可能发生的场景呢？比如说，一块饼干会自己慢慢长大，或者一个人能够神奇地把手伸进镜子里触摸自己的倒影？

这正是新加坡国立大学研究团队关注的核心问题。他们发现，现有的AI视频研究几乎都专注于模仿和重现真实世界的场景，却很少有人探索AI在处理"不可能视频"方面的能力。这就像是我们一直在教机器人如何在平地上走路，却从未测试过它们能否在倒立的世界里移动一样。

为了填补这个研究空白，研究团队开发了一个名为IPV-BENCH的综合性基准测试平台。这个平台就像是专门为AI视频模型设计的"不可能任务训练营"，包含了各种挑战常识、违反物理定律、突破生物限制的奇特场景。通过这个平台，研究者们想要回答两个关键问题：现在的AI视频生成模型能否根据文字描述创造出不可能的视频内容？现在的AI视频理解模型能否准确识别和理解这些不可能的场景？

研究团队首先构建了一个详细的分类体系，将不可能场景分为四大类别。第一类是违反物理定律的场景，比如物体凭空增长、刀切向东边但食物却从南边裂开等。第二类是违反生物规律的场景，包括煎蛋开口说话、玫瑰花从向日葵中心长出等奇异现象。第三类是违反地理规律的场景，比如云朵在天空中变成英文字母、热带国家新加坡下雪等。第四类是违反社会常识的场景，比如卡车从地下洞穴中钻出、人类可以神奇地触摸镜中的倒影等。

基于这个分类体系，研究团队构建了两个核心组件。首先是IPV-TXT，一个包含260个高质量文字提示的数据集，每个提示都描述了一个不可能的场景。这些提示不是简单地说"创造一个不可能的场景"，而是详细描述了具体的不可能现象，比如"一个不完整的饼干随着时间推移慢慢变完整"。其次是IPV-VID，一个包含902个高质量视频的数据集，这些视频展示了各种不可能的场景，并配有详细的标注信息。

**一、深入探索不可能视频的生成能力**

当研究团队开始测试当前最先进的AI视频生成模型时，他们发现了一个令人意外的现实。这些在生成普通视频时表现出色的模型，在面对不可能场景时却显得力不从心。就像是一位技艺精湛的厨师，虽然能够制作出各种美味佳肴，但当被要求制作一道"会自己跳舞的汤"时，却无从下手。

研究团队测试了包括开源模型和商业模型在内的十个主流视频生成系统。开源模型包括LTX、Open-Sora、Pyramid-Flow、CogVidX-1.5、Mochi 1和HunyuanVideo等，商业模型则包括Luma、Sora、Kling和Hailuo等知名产品。测试结果令人深思：即使是表现最好的Mochi 1模型，也只能在37.3%的情况下生成既具有高视觉质量又准确遵循不可能提示的视频。

这个结果就像是发现了一位看似全能的魔法师其实只会一半的魔法一样。研究团队发现，这些模型在处理不可能场景时主要面临两个挑战。第一个挑战是视觉质量问题。当模型试图生成违反常识的内容时，往往会产生视觉伪影或生成失败。这是因为不可能的提示对模型来说是"超出分布"的数据，就像要求一个只学过正常烹饪的厨师去制作完全颠倒的料理一样困难。

第二个挑战更加微妙但同样重要：过度遵循物理定律的限制。许多模型虽然能够准确捕捉提示中的语义元素，但却无法展现关键的不可能现象。相反，它们会生成符合现实世界规律的正常场景。这就像是一个过于理性的画家，即使被要求绘制超现实主义作品，也会不自觉地画出符合物理逻辑的正常画面。

研究团队还发现了一个有趣的现象：不同模型在视觉质量和提示遵循能力之间表现出了不平衡的特点。比如Luma模型展现出了卓越的视觉质量，超越了大多数开源模型，但其提示遵循能力却相对较弱。相反，一些开源模型如Mochi 1在提示遵循方面表现出色，甚至超过了许多商业模型。理想的模型应该在两个维度上都表现优异，实现研究团队提出的IPV-Score指标所量化的平衡。

**二、深入探索不可能视频的理解能力**

在测试AI视频理解能力时，研究团队设计了三个层次递进的任务，就像是为AI设置的"理解力闯关游戏"。这些任务从简单的判断开始，逐步升级到复杂的开放式分析，全面考察AI模型对不可能场景的理解深度。

第一关是判断任务，要求模型区分AI生成的视频和真实视频。这个任务看似简单，但实际上需要模型具备敏锐的观察力和深层的语义理解能力。测试结果显示，大多数模型在这个基础任务上表现相当，Qwen2-VL以76.2%的准确率领先，甚至比Gemini模型高出3.1个百分点。然而，研究团队发现一些模型存在明显的偏向性问题，比如Intern-VL模型倾向于将大部分视频判断为AI生成，而NVILA和Gemini则倾向于相反的判断。

第二关是多选题任务，要求模型从几个选项中选择最能描述视频中不可能现象的答案。这个任务的难度显著提升，因为模型不仅需要识别出不可能现象，还要从相似的干扰选项中做出准确判断。测试结果显示模型性能差异巨大，表现最好的LLaVA-Next达到了86.4%的准确率，超越了GPT-4o和Gemini等商业模型。相比之下，Video-LLaVA只达到了26.8%的准确率，接近随机猜测的水平。

第三关是开放式问答任务，这是最具挑战性的测试。模型需要在没有任何提示的情况下，独立识别并详细描述视频中的不可能现象。这就像是要求一个侦探在没有任何线索的情况下，仅凭观察就能发现犯罪现场的异常之处。测试结果显示，大多数当前模型在这个任务上表现不佳，即使是表现最好的GPT-4o，也只在某些评估标准下取得了相对较好的成绩。

研究团队在分析这些结果时发现了几个重要规律。首先，商业模型整体上显示出了更好的潜力，在多选题和开放式问答任务上普遍优于开源模型。然而，即使是最先进的模型，在独立识别不可能现象方面的能力仍然有待提高。其次，模型在不同领域的表现存在明显差异。"物理定律"类别成为最具挑战性的领域，大多数模型在这个类别上得分最低。研究团队推测这可能是因为物理类别包含了更多需要时间动态推理的复杂样本。

最有趣的发现是关于空间理解与时间推理能力的对比。研究团队将测试视频分为两类：一类是可以通过静态画面和常识知识理解的视频，另一类是需要观察时间变化才能理解的视频。结果显示，所有模型在需要时间推理的视频上表现明显较差。这清楚地证明了时间动态推理对当前大多数模型来说仍然是一个重大挑战。

更令人惊讶的是，那些专门为视频设计的高帧率模型（如LongVU）并没有显示出明显优势。反而，表现最好的模型（如LLaVA-Next和GPT-4o）都是基于图像的模型。特别值得注意的是，GPT-4o在评估时仅使用了1帧每秒的采样率。这个观察结果提示，比起简单地扩展上下文窗口，设计更加复杂精妙的时间模块可能是理解和推理不可能视频的关键所在。

**三、揭示当前AI视频技术的局限性**

通过这项大规模的评估研究，研究团队揭示了当前AI视频技术中一些深层次的问题。这些发现就像是在看似光鲜的技术表面下发现的隐藏裂痕，提醒我们AI视频技术仍有很长的路要走。

在视频生成方面，研究团队发现当前模型普遍存在创造力受限的问题。这些模型在生成符合现实世界规律的内容时表现出色，但一旦要求它们"打破规则"创造不可能的场景，就会显露出明显的局限性。这种现象类似于一个只学过传统绘画技法的画家，虽然能够创作出技巧精湛的写实作品，但在面对抽象派或超现实主义的创作要求时却束手无策。

更深层的问题在于，这些模型似乎被它们的训练数据"困住"了。由于训练时主要接触的是现实世界的视频内容，模型学会了强化物理定律和常识规律，而这种强化效应在面对不可能场景时反而成为了障碍。就像是一个在严格规则环境中长大的孩子，当被要求发挥想象力时，反而比那些在自由环境中成长的孩子更加拘谨。

在视频理解方面，研究揭示了一个更加根本性的挑战：时间推理能力的不足。大多数当前的视频理解模型虽然能够处理静态信息和简单的动作识别，但在理解复杂的时间演变过程时显得力不从心。这就像是一个只能看懂照片的人，突然被要求理解一部电影的情节发展一样困难。

研究团队特别指出，这种时间推理的困难在处理不可能场景时变得更加明显。因为不可能现象往往需要观察者理解事物如何以违反常识的方式随时间变化，比如物体凭空增长、重力倒转等。这种理解需要模型不仅能够识别视觉元素，还能够推理这些元素之间的时间关系和因果关系。

另一个重要发现是模型在不同类型推理任务上的能力不平衡。研究显示，基于世界知识的推理（比如识别新加坡不应该下雪）相对容易一些，因为这主要依赖于模型预训练时积累的知识。然而，需要动态时间推理的任务（比如识别物体异常的运动模式）则困难得多，因为这需要模型具备更高层次的抽象推理能力。

研究团队还观察到一个有趣的现象：在某些情况下，简单的方法反而比复杂的方法更有效。比如，使用较低帧率的图像模型有时比专门设计的高帧率视频模型表现更好。这提示我们，解决这些问题可能需要的不是更多的计算资源或更大的模型，而是在算法设计上的根本性创新。

**四、对未来发展的启示和展望**

这项研究为AI视频技术的未来发展指明了几个重要方向。首先，研究团队建议未来的视频生成模型需要在保持视觉质量的同时，增强对创造性和反常识内容的生成能力。这可能需要在训练过程中专门引入不可能场景的数据，或者开发新的训练策略来平衡现实性和创造性。

对于视频理解模型，研究强调了开发更强大时间推理能力的重要性。这不仅仅是简单地增加更多帧数或扩大上下文窗口的问题，而是需要从根本上改进模型理解和推理时间关系的能力。研究团队建议，未来的模型可能需要专门的时间推理模块，而不是依赖简单的注意力机制来处理时间信息。

研究还揭示了评估AI能力时的一个重要原则：我们不应该仅仅在AI擅长的领域测试它们，也应该在它们可能失败的边界情况下进行测试。就像测试一个驾驶员不仅要看他在好天气下的表现，也要测试他在暴风雨中的应对能力一样。不可能视频为我们提供了这样一个测试AI系统鲁棒性和泛化能力的独特视角。

从更广泛的角度来看，这项研究提出了一个关于AI创造力的深刻问题：真正的创造力是否需要具备"打破规则"的能力？当我们的AI系统在模仿现实世界方面越来越出色时，我们是否也应该培养它们的想象力和创造性思维？这个问题不仅对技术发展有重要意义，也涉及到我们对人工智能本质的理解。

研究团队还指出，不可能视频的研究可能在娱乐、广告、教育等领域有广泛应用。比如，能够生成创意十足的不可能场景的AI模型可能会成为电影制作、广告创意和艺术创作的强大工具。同时，能够准确理解和分析不可能场景的AI系统可能在内容审核、媒体分析和创意评估方面发挥重要作用。

最后，这项研究提醒我们，AI技术的发展不应该只关注在已有任务上的性能提升，也应该探索新的挑战和可能性。通过引入不可能视频这样的新测试范式，我们不仅能够更全面地评估AI系统的能力，也能够发现技术发展的新方向和新机遇。

说到底，这项研究告诉我们一个简单而深刻的道理：要真正理解AI的能力边界，我们需要敢于向它们提出"不可能"的挑战。只有当AI能够在这些看似荒诞的任务中表现出色时，我们才能说它们真正具备了接近人类的理解和创造能力。新加坡国立大学研究团队的这项工作，不仅为我们提供了一个新的评估工具，更重要的是，它为AI视频技术的未来发展开辟了一片全新的探索领域。对于那些希望深入了解这项研究细节的读者，可以访问研究团队提供的在线平台和完整论文，体验这个充满想象力的"不可能视频世界"。

Q&A Q1：IPV-BENCH是什么？它能做什么？ A：IPV-BENCH是新加坡国立大学开发的AI视频评估平台，专门测试AI模型处理"不可能场景"的能力。它包含260个文字提示和902个不可能视频，能评估AI生成和理解违反物理定律、生物规律等奇特场景的能力，就像给AI设置的"不可能任务训练营"。

Q2：为什么要测试AI处理不可能场景的能力？ A：因为现有AI评估都专注于模仿现实场景，但真正的智能需要具备创造性和"打破规则"的能力。通过测试不可能场景，能发现AI的能力边界和局限性，推动技术在创造力、想象力和深层理解方面的发展，这对娱乐、广告、艺术创作等领域都有重要意义。

Q3：目前AI模型在处理不可能场景方面表现如何？ A：表现并不理想。最好的视频生成模型Mochi 1也只能在37.3%的情况下成功生成高质量的不可能视频。视频理解方面，大多数模型在独立识别不可能现象时表现不佳，特别是需要时间推理的场景。这说明当前AI技术在创造力和复杂推理方面还有很大提升空间。