LeCun亲自官宣！Meta世界模型V-JEPA 2登场！仅用62小时机器人数据，就能实现零样本控制！

AI科技大本营

6258人浏览 · 2025-06-12 18:48:35

AI科技大本营 · 2025-06-12 18:48:35 发布

整理 | 梦依丹

出品丨AI 科技大本营（ID：rgznai100）

让 AI 像人一样理解世界并与环境互动。

Meta 重磅发布了 V-JEPA 2（Video Joint Embedding Predictive Architecture 2）世界模型，并同时发布了三个全新的基准测试，用于评估现有模型通过视频对物理世界进行推理的能力。

这次，Meta 首席 AI 科学家 Yann LeCun 亲自出镜，并介绍了世界模型与其他模型的不同之处。

V-JEPA 2 是一款基于视频训练的先进 AI 系统，旨在赋予机器更深层次的物理世界理解、预测及交互能力，向着构建更通用的AI智能体迈出关键一步。

一经发布，便在 X 上引发了众多关注与讨论。

目前 V-JEPA 2 在 Hugging Face 物理推理能力排行榜上排行第一，已超过 GPT-4o。

用百万小时视频打造「世界模型」

只靠 62 小时机器人数据就能上手控制

Meta 团队认为，未来 AI 的关键在于具备对现实世界进行计划与推理的能力，而“世界模型（World Models）”正是实现这一目标的核心路径。

此次，他们不仅开放了 V-JEPA 2 的模型代码与权重检查点，供研究与商业用途自由使用，也希望借此构建起更广泛的开源社区生态，推动世界模型领域的持续进展，加速 AI 与物理世界交互方式的革新。

V-JEPA 2 相关链接：

论文地址：https://ai.meta.com/research/publications/v-jepa-2-self-supervised-video-models-enable-understanding-prediction-and-planning/

GitHub：https://github.com/facebookresearch/vjepa2

HuggingFace：https://huggingface.co/collections/facebook/v-jepa-2-6841bad8413014e185b497a6

V-JEPA 2 基于联合嵌入预测架构（JEPA）构建，核心由两大组件组成：

编码器（Encoder）：接收原始视频输入，并输出嵌入表示，捕捉所观察世界状态中的关键语义信息；
预测器（Predictor）：结合视频嵌入与具体的预测任务上下文，生成对应的预测嵌入结果。

V-JEPA 2 的训练过程分为两个阶段：

第一阶段：无动作预训练

Meta 使用了来自多个来源的超过 100 万小时视频和 100 万张图像，为模型构建了丰富的感知语义基础。该阶段的核心目标是学习物体、人与环境之间的交互逻辑，不涉及任何控制指令。

在完成这一阶段后，V-JEPA 2 就已展现出出色的理解与预测能力：

在 Something-Something v2 动作识别任务中，仅通过冻结编码器特征并训练轻量注意力读出模型，V-JEPA 2 就取得了优异成绩。该任务强调对运动和操作行为的理解。
在 Epic-Kitchens-100 动作预测任务中，通过冻结编码器和预测器，再训练注意力读出模块，V-JEPA 2 创造了新的 SOTA 纪录。该任务需要模型从第一人称视频中预测接下来 1 秒可能的动作（包括名词与动词）。
此外，将 V-JEPA 2 与语言模型结合，在视频问答基准任务上（如 Perception Test 和 TempCompass）也实现了领先的性能。

第二阶段：动作条件训练

在掌握世界如何变化的通用模式后，V-JEPA 2 进入了更贴近真实 Agent 的训练阶段——结合动作信息进行规划学习。