英伟达开源Cosmos 3：全球首个物理AI全模态模型，机器人训练从月到天

2026年6月1日，台北GTC大会期间，英伟达正式发布Cosmos 3。这不是又一款聊天机器人，而是一个面向物理AI的开放世界基础模型。按英伟达官方说法，它是全球首个能够原生理解并生成文本、图像、视频、环境声音与动作轨迹的“全模态模型”（omnimodel）。同日，英伟达还联合Agile Robots、Black Forest Labs、Runway、Skild AI等成立了Cosmos联盟，目标是把下一代世界模型的开发推向开源协作。

从语言模型到世界模型：Cosmos 3到底做了什么

过去两年，大模型的主战场是文本、代码和图像。ChatGPT能写论文，Midjourney能画图，但这些能力都停留在数字世界。机器人、自动驾驶汽车和工业视觉系统真正缺的不是语言天赋，而是对物理世界的理解：一个杯子从桌上滑落会怎样？机械臂抓取不同材质的零件该用多大力？

Cosmos 3直接把这些问题打包进了一个模型。它可以作为视觉语言模型跨模态推理，可以作为世界模型模拟物理环境并预测未来状态，也可以作为“世界行动模型”的骨干，直接输出机器人执行特定任务的轨迹。英伟达CEO黄仁勋在 keynote 中表示：“物理AI的‘大爆炸’时代已经近在眼前。”

更关键的是，Cosmos 3完全开源。模型权重、训练脚本、评估工具和数据集均发布在Hugging Face与GitHub上，采用Linux Foundation的OpenMDW 1.1许可，允许商业使用和修改。英伟达显然不打算靠卖模型授权赚钱，而是想复刻二十年前CUDA的策略：免费放出工具链，让整条产业链都运行在它的硬件生态上。

Mixture-of-Transformers：先理解物理，再生成动作

Cosmos 3的核心架构叫Mixture-of-Transformers（MoT），由两个“塔”组成：一个是自回归的推理塔（Reasoner Tower），负责理解输入场景中的物体交互、运动规律与时空关系；另一个是基于扩散的生成塔（Generator Tower），根据推理结果生成视频、声音或机器人动作轨迹。

这种“先想后做”的设计，让模型在生成动作前已经完成了一次对物理世界的内部建模。英伟达披露，Cosmos 3在包含数十亿样本的多模态物理AI数据集上训练，数据覆盖文本、图像、视频、环境声音和动作轨迹。训练规模是公开的，但更重要的是它解决了一个真实痛点：真实世界机器人数据的采集成本极高，而合成数据的质量又常常不够真实。

目前发布的版本有两个：Cosmos 3 Super（64B参数，32B推理+32B生成）面向需要最高物理精度的机器人与自动驾驶后训练；Cosmos 3 Nano（16B参数，8B+8B）主打秒级视频与动作推理，适合工作站部署。另有一款Cosmos 3 Edge即将推出，瞄准端侧实时推理。

8项基准第一：开源模型首次在物理AI赛道霸榜

英伟达在官方新闻稿中列出了Cosmos 3在8个物理AI基准上的开源模型第一：世界生成准确度的Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench；动作策略的RoboLab、RoboArena；视觉理解的VANTAGE-Bench与TAR排行榜。

这些数据需要放在具体场景里看。RoboLab和RoboArena测的是机器人在真实或仿真环境中执行多步操作任务的能力；Physics-IQ和PAI-Bench测的是生成视频是否符合物理规律。换句话说，Cosmos 3不只是在“画得更真”，而是在“算得更对”。

产业端的反应也很快。LG电子、三星、斗山机器人、Skild AI、Agile Robots已经在机器人方向接入Cosmos；理想汽车用于自动驾驶场景；Centific、Milestone Systems等则在工业视觉AI Agent上落地。英伟达还同步推出了面向机器人、物理仿真、人体动作、自动驾驶、仓储安全和空间推理的六个合成数据集，进一步降低开发者获取训练数据的门槛。

为什么英伟达要免费开放最硬核的模型

把最前沿的模型免费开源，听起来像是做慈善，实则是英伟达的一盘大棋。据英伟达测算，物理AI对应的制造与物流产业重塑空间高达50万亿美元；投资机构Coatue Management则给出了6万亿美元的市场规模基准。这个市场的核心不是模型本身，而是训练、推理和仿真所需的算力。

Cosmos 3的开放，本质上是把“模型层”变成基础设施，把竞争焦点往上推到工具链、数据集和行业解决方案，同时把算力需求牢牢锁在英伟达的GPU、DGX Cloud和NIM微服务上。这与Nemotron 3 Ultra的开源逻辑一脉相承：英伟达正在用开放模型巩固硬件生态。

对开发者和创业者来说，这意味着一件更实际的事：过去需要几个月才能完成的物理AI训练与评估周期，现在可能被压缩到几天。机器人创业公司不必再从零采集真实数据，自动驾驶团队可以用合成场景覆盖长尾风险，工业视觉公司也能用更低的成本生成缺陷样本。

结语

Cosmos 3的发布标志着AI竞争从“谁能生成更流畅的文本”转向“谁能理解并操控真实世界”。开源策略、全模态架构和硬件生态的三位一体，让英伟达在物理AI赛道的布局比其他对手快了一步。接下来几个月，真正的考验将来自第三方复现和产业落地。