全面解析世界模型：定义、路线与通往 AGI 的下一步

节目信息

• 栏目：硅谷 101
• 主持：陈茜
• 发布时间：2026-03-06
• 采访嘉宾：世界模型方向的一线研究者（含 Meta 实践团队）
• 主题：拆解「世界模型」的核心定义、三层研发结构与主流技术路线，及其对机器人、自动驾驶、内容产业的冲击

---

一个被滥用的名字

2026 年，全球顶尖 AI 实验室几乎同时押注一条新路径：世界模型（World Model）。随着大语言模型的 Scaling Law 遭遇质疑，Yann LeCun、李飞飞等学者以及 OpenAI、谷歌等巨头都在追问同一个问题——AI 要想真正智能，「预测世界」是否是必须项？

热潮也带来了混乱。一夜之间整个 AI 圈仿佛都在做世界模型：做视频生成的是世界模型，做机器人的是世界模型，做自动驾驶、做游戏、做 VR 仿真环境的都是世界模型。这些东西看起来完全不一样，却被冠上了同一个名字。事实上，业界大量所谓的「世界模型」其实只是视频模型——它更多是世界模型的一种表现形式，而非本体。要谈清楚这件事，得先回到它到底想解决什么问题。

世界模型到底是什么？

它的定义至今没有被所有人认可的统一说法，但源头很清晰。你怎么知道放在桌边的一杯水可能会掉下去？因为从很小的时候起，我们脑子里就构建了一个「世界如何运作」的模型，能预判下一秒、能想象「如果我这么做会怎样」。认知科学把这称为心智模型（Mental Model）——早在 1943 年，Kenneth Craik 就提出：人在对现实作出反应之前，会先在大脑里构建一个小规模模型来模拟可能发生的过程。

这个思想在 AI 里反复出现。1991 年 Richard Sutton 的 Dyna 架构第一次把世界模型明确为智能体的一项基础能力——智能体在学习行动策略的同时，也要学习「采取某个动作后世界会如何变化」。它在强化学习里叫 forward model，在工业控制里叫 model predictive control，名字不同，内核一致：智能体能做出更好的决策，不是因为反应更快，而是因为它能在行动前，在内部世界里先看到未来。

2018 年 David Ha 与 Jürgen Schmidhuber 的论文《World Models》给出了一个精炼框架：世界模型 = 观察世界（V）+ 预测模型（M）+ 在内部世界中学习行动（C），对应 Vision、Memory、Controller 三个模块。就像一个乒乓球新手：视觉模块 V 把上百万像素压缩成几十个数字的编码，记忆模块 M 建立起对球运动规律的理解并做内部模拟，控制模块 C 在 M 创造的「梦境」里训练——你不必真的挥拍一百次，而是在想象中找到最优解，再在现实里执行一次。这种「想象—规划—行动」正是人类智能的核心。

归纳起来，世界模型应具备三大特质：表示（representation）——理解环境里有什么、物体在哪、彼此什么关系；预测（prediction）——推一下杯子、开一扇门、往前走两步，世界会怎么变；规划与行动（planning & control）——预测接下来会发生什么，再决定如何行动。它的本质，是想让 AI 从一个只会回答问题的语言机器，走向能够像人类一样观察、推理、行动的真正智能体。

和大语言模型的分野

把两者放在一起对比，差异一目了然。大语言模型的目标是生成语言维度上最合理的序列，预测的是下一个 token；世界模型预测的是下一帧画面、下一步动作、下一次状态变化，需要理解物理规律、空间关系和动态变化。训练数据上，前者主要吃静态文本，后者主要吃视频等动态数据、传感器反馈、动作结果。输出上，前者产出语言或图像，后者产出对未来状态的预测和可执行的行动方案。李飞飞的概括很到位：一个是关于「说事情」，另一个是关于「看见并做事情」——语言模型的基本单元是词元，世界模型的基本单元是像素或体素，是根本不同的模态。

两条路线不同，但终极目标一致：通用人工智能。那为什么世界模型突然被密集关注——是大模型这条路走不动了吗？研究界仍有分歧。以 LeCun 为代表的一派旗帜鲜明：大语言模型是死路。这位离开 Meta 的图灵奖得主认为，AI 的 Moravec 悖论至今未解——机器能轻松处理下棋、微积分这类高智力任务，却在感知、社交这些人和动物轻松完成的初级技能上极为困难，根源就是路线错了。他判断继续沿 LLM 堆量，最多做出一个更会说话、更会写字的模型；甚至放言 GPT 之类的模型五年后不会再有人用，而对「AGI 很快到来」的憧憬是一种彻底的妄想。Richard Sutton、李飞飞也有类似表态——李飞飞说大语言模型仍是「黑暗中的文字匠人」，能言善辩却缺乏经验，知识渊博却脱离现实。

但更主流的共识是互补而非取代。单纯把模型做得更大，已经不会再像过去那样带来立竿见影的突破——规模继续上去当然能更强，但在算力、数据、能源成本的硬约束下，性价比正在迅速下降。AI 需要更直接地接触真实世界：语言世界太干净，提供不了现实那种混乱、连续、充满不确定性的因果经验。世界模型不需要推翻大模型重来，而是为它补上现实世界的维度——可以把它理解为一个「包含了感知与控制的大号 GPT」，未来的机器人和智能体，都可能以这种预训练加后训练的方式产生。

三层结构：一个理解全行业的框架

实践层面之所以让人困惑，是因为有人做视频生成、有人做 3D 场景、有人做机器人、有人做智能体，都叫世界模型。一个有帮助的框架是把这个领域拆成三层：

• 范式层（底层）：世界模型的思维与范式，即抽象、预测、规划这些特征本身，涉及大量研究层面的创新。
• 生成层（中层）：模型用什么方式来表示和生成世界——这是当前最热闹的地方。
• 目的层（顶层）：智能体训练，让 AI 最终能在这个世界里行动、做任务、完成决策。

产业界目前的尝试大多聚焦在中间的生成层。为什么要先做世界生成？因为理解世界本质上是理解世界如何随时间和行为变化，而获得这种直觉最直接的方式，就是先让模型能生成一个可以连续变化的世界。更现实的一点是，强大的世界生成模型能为智能体提供廉价的训练场——让机器人在现实里倒几万次咖啡、打碎几千个杯子性价比太低，地震、火灾、车祸这类边缘场景更只能在虚拟世界里做反事实推演。世界生成既是外壳，也是整个体系的入口。

生成世界的两条路线

视频生成：把世界画出来

这是最为大众熟悉的一条，目标是让 AI 直接生成一个能动起来、随时间演化的世界。OpenAI 发布 Sora 之初就把它定义为「世界模拟器」——它不是把视频一帧帧拼出来，而是让画面里的事物随时间连续演化，让人觉得模型似乎真的了解了事物变化背后的规律：光如何在材质上变化、物体受力后如何移动。如果说 Sora 是「播放」一个世界，谷歌的 Genie 系列则是让你「探索」一个世界——Genie 3 能根据文本或图像提示实时生成可交互的虚拟环境，你在黑板上写的字，走开再回来还在，说明它已经能记住世界的状态；配合 Project Genie 这样的原型，一句话就能变出一个 720P、24 帧、带 60 秒强一致性记忆的可运行小世界。

视频生成的优势是「看得见」：能直接观察物理一致性、时空结构，且能快速商业化到影视、广告、教育、游戏。技术上训练数据也易得——互联网有海量真实视频，而且对 Scaling Law 敏感，规模越大一致性越好。但局限同样明显：输出是显式的，内部对世界的理解却是隐式的，藏在权重里、读不出来、也移植不到机器人或决策系统。它和大语言模型一样是数据驱动的——你让 Sora 生成一辆行驶的车，光影可能很逼真，但问它车的长宽高、被挡住的轮胎在哪，它答不上来，因为它并没有构建 3D 几何模型，只是学到了像素组合的概率分布。视频生成画出了世界的一层皮，却还缺有血有肉的框架。

3D 生成：把世界建出来

李飞飞给出的思路是空间智能——不是把世界画出来，而是把世界建出来。这是她创建的 World Labs 的路线：不追求画面多逼真，而关注世界的结构——物体在哪、几何关系如何、彼此如何影响、能否被进入与操作。他们最新的模型 Marble，给一句话、一张图或一段视频，就能通过高斯泼溅重建出完整的 3D 场景结构。同样问图片里汽车的长宽高，它能答出长 4.5 米、宽 1.8 米，还能输出 3D 网格文件。李飞飞如此强调 3D 的理由是：真正的世界本就不是 2D 而是 3D 的，机器人要抓取需要知道形状、体积、位置，自动驾驶要理解空间和距离，这些都不是二维像素能表达的。

3D 生成的优势在于它生成的是显式结构模型，知道每个物体的具体位置，因此物理模拟、规划、控制都更容易实现，还能继承传统物理引擎在碰撞、遮挡、受力上的严格正确，成为可操作世界模型的底座。不久前 World Labs 宣布最新一轮 10 亿美元融资，估值达到 50 亿美元，一年半时间估值飙升五倍，一定程度上反映了市场对这条路线的认可。但它的实现难度也大得多：训练数据稀缺（高质量 3D 数据靠 LiDAR、结构光扫描仪采集，设备贵、标注成本比 2D 高一个量级）、几何结构难建（要保证封闭无穿模，柔体、流体、链式碰撞更难）、算力需求高（多出一个维度，直接用 1024³ 表示计算量爆炸，于是催生了先低分辨率再局部 upscale、把算力集中到关心区域等新方法）。

让 AI 在世界里行动

光有生成还不够，世界模型真正的目标不是生成世界，而是让 AI 在世界里行动。这就是目的层，目前有两条探索路线。

一条是把世界生成模型直接当训练环境。谷歌 SIMA 的思路很直接：现实世界太复杂、真实训练太慢，就用虚拟世界教 AI 行动，而游戏是最佳训练场。从早期的 Atari 到在《星际争霸 II》达到世界前 0.2% 的 AlphaStar，游戏一直是 AI 的摇篮。SIMA 把 AI 放进大量不同类型的游戏里练级，最新的 SIMA 2 还把 Gemini 嵌入内核、首次用 Genie 3 生成的世界训练，展现出跟随指令之外的自主思考、在陌生环境中探索规划、以及跨游戏跨环境的泛化能力，为未来迁移到具身机器人打下基础。

另一条是 LeCun 代表的 JEPA——不把世界画出来，而是让 AI 直接学习世界的抽象结构。在他看来，无论生成图片、视频还是 3D，生成式模型都消耗大量算力去画细节，却未必真正理解了世界的结构。人学走路只需要知道地面在哪、障碍在哪、下一步怎么走。JEPA 不预测像素、不重建视觉内容，而是把真实世界压缩成一个抽象的高维潜在表示，在这个潜在空间里预测未来的结构：轻推一个球，它不关心下一帧的阴影反射，只关心球往哪滚、速度怎么变、会不会撞到障碍。结构上它用 encoder 把视觉和动作压成抽象表征，用 predictor 预测这些状态未来如何变化，再与真实未来的编码对齐。基于此，Meta 先后发布了 I-JEPA 和 V-JEPA。它的动机是：生成像素既贵又低效，而绝大多数像素与决策无关；只保留关键结构更容易捕捉因果、跨任务泛化，也更接近机器人真正需要的可操作信息。

但 JEPA 至今没能成为主流，因为它「不可见」——Sora 能用画面震撼所有人，World Labs 能用 3D 场景证明它理解了空间，而 JEPA 学到的一切都藏在抽象潜在空间里，难以直接看到和验证；它的自监督目标极难设计（什么才是「结构」、哪些该保留哪些该忽略仍无统一答案），也缺乏像图像生成或语言模型那样统一的 benchmark。它更像是世界模型的「前额叶」，方向很可能对，但离成熟落地还有距离。

世界模型会撬动哪些行业？

机器人是最直接被撬动的。过去机器人受制于硬件和算力，但更深的瓶颈在于它们不懂世界——今天绝大多数机器人做的一切本质上是被编程好的动作，环境稍变就失能，每一项新任务都是一次新工程。世界模型让机器人拥有世界的内部模型：能预测物体怎么动、推断自己的动作会有什么后果，先在脑子里模拟箱子会不会翻倒、门把能否转动、抓取会不会失败，再决定要不要执行。更关键的是迁移能力——把虚拟世界里学到的规律迁移到现实，让它面对没见过的物品仍能合理决策。尽管 sim-to-real 迁移仍是开放难题，这已是一次范式级的改变。

自动驾驶同理。L2/L3 依赖「感知—预测—规划」的分层体系，无论是特斯拉的大规模真实数据端到端，还是强调可验证安全的结构化路线，都面临同一个问题：对现在的感知已经很强，却很难稳定理解接下来会发生什么；而极端天气、突发事故、不规范行人这类长尾场景在真实道路上极其稀少。世界模型开始进入工程体系——把自动驾驶核心构建成一个 foundation model，采用分段式端到端架构，既能端到端训练，又保留对世界的结构化表达，输出物体、语义属性、道路结构等中间表征，让系统出错时能定位问题出在世界理解的哪一层，并在内部同时推演大量可能的决策路径、筛出最安全的一条。它被认为是自动驾驶从局部可用走向可验证安全、大规模商业化的核心技术之一。

可穿戴设备会从「记录」质变为「理解」。一方面它能读懂你的 3D 世界，实时推断空间结构、物体关系和潜在风险，把数字内容自然融入现实；另一方面它的预测与规划能力，会让设备从工具变成数字伙伴——提前提醒路面湿滑、在厨房识别缺少的食材，甚至在你开口前就意识到你需要帮助。眼镜、耳机、手表都可能进化为与你共同生活的智能体，成为下一代计算平台的起点。

内容与游戏则是它在想象世界里的爆发点。未来的内容创作只需给一个世界观、一个任务、一个初始状态，模型就能自动长出一个世界。导演不必反复搭景重拍，只要定义「一座被雨水淹没的城市」，AI 就能生成整城的状态变化。游戏改变更彻底：过去要数百人花几年一砖一瓦搭建的开放世界，未来只需设计师规定规则与生态，AI 就能生长出森林河流、生物文化经济系统，甚至 NPC 的性格、记忆和演化方向——所有内容 on the fly 生成，每次玩都不一样。

世界模型还会加速 AI Agent 的进化。今天关于 Agent 的讨论多集中在它够不够聪明、工具调用好不好，却忽略了一个更底层的问题：Agent 到底在什么环境里学会行动？从强化学习看，Agent 的一切能力都来自与环境的交互，但真实世界太贵、太慢、太危险，几乎无法支撑大规模试错。世界模型解决的正是环境本身——在模型内部构建一个可运行的世界，让 Agent 在其中大规模训练、可试错，只要这个世界足够接近真实，学到的能力就能迁移回现实。这层世界底座，才是决定 Agent 能否走向现实世界的关键。若世界模型真的从根本上走通，它甚至可能泛化到产生新的数学、新的 science，具备建立一种新文明的能力。

更危险的风险

任何足以改变技术版图的突破都会带来新风险，而世界模型的风险不再只是「胡说八道」。首先是更隐蔽的系统级幻觉：虚拟世界永远无法完全覆盖真实世界，始终存在 sim-to-real gap。语言模型的幻觉是编造事实，视觉模型的幻觉是画面错误，而世界模型的幻觉出现在整个世界结构里——误判物体重量、高估动作可行性、低估碰撞后果，甚至构建错误的因果关系。这些不一定立刻被察觉，却会直接影响智能体的决策，导致机器人失常、自动驾驶偏离。当世界模型出现幻觉，错误将是系统级的——这也是更难发现、更难对齐的风险。

其次是权力集中。未来可能只有极少数机构具备构建和运行世界模型的能力，而成熟的世界模型意味着前所未有的预测能力——对市场、社会行为、群体反应的高精度推演，可能带来新的信息垄断，也可能被用于更高效的社会与商业操纵。再者，当世界模型越来越真实，虚拟与现实的边界会越来越模糊，深度伪造进入超真实阶段，AI 生成的 VR 世界可能与现实几乎无差、甚至更具吸引力。而当它变成决策底座，内部状态难以审计、推理过程不可见，我们甚至很难判断它究竟理解了什么、在朝什么方向演化——它带来的监管挑战，将远高于今天的大模型。

拐点的开端

过去一两年，AI 在语言、图像、视频上急速爆发，仿佛无所不能。但当你追问它是否真的理解世界、能否真的预测未来、能否像人类一样在世界中行动，会发现现在的大模型仍停留在表层智能。世界模型提供了走向深层智能的可能——让 AI 从看到世界走向理解世界，从预测句子走向预测未来，从生成画面走向在世界里行动。

道路仍然漫长，技术挑战巨大，风险也前所未有，我们甚至还不知道哪条路线会最终胜出。但可以确定的是，当 AI 能够真正理解世界、模拟世界、在世界里试错和行动，它离通用智能就又近了一大步。这也许就是 AI 时代真正的拐点，而我们正在见证它的开端。