NVIDIA面向智能汽车、机器人和视觉AI的智能体技能，开启物理AI研究新时代

由 NVIDIA Cosmos 3 驱动的全新物理 AI 智能体技能，可帮助研究人员加速面向辅助驾驶系统开发的数据生成、仿真、策略训练和评估。

在 CVPR 上，NVIDIA 推出了全新物理 AI 智能体技能，助力研究人员和开发者加快智能汽车、机器人以及视觉 AI 系统的开发进程。

推动辅助驾驶研究，超越已记录的行驶里程：借助 NVIDIA 辅助驾驶的相关技能，研究人员和开发者可以让 AI 智能体根据车队数据自动执行场景重建工作流，并生成合成场景。神经重建技能可以帮助 AI 智能体将车队收集的数据转换为可编辑的 3D 场景，用于仿真和合成数据生成；同时，NVIDIA Omniverse NuRec、InstantNuRec、Harmonizer 以及 HiGS 加速渲染器等技术，有助于加速重建过程、提高场景真实度并生成新视图。NVIDIA AlpaGym 是一个开源的闭环强化学习框架，它通过将策略执行、高保真仿真与智能体技能连接起来，从而帮助研究人员完成从环境搭建、策略执行到评估的全流程。NVIDIA 还推出了强大的开放驾驶基础模型NVIDIA Alpamayo 2 Super以推进自动驾驶研究。

推动面向现实世界的视觉 AI 系统发展：全新的 NVIDIA Metropolis 的新技能正在帮助研究人员和开发者利用 AI 智能体生成包括异常情况的合成视觉场景，增强数据，并支持伪标注。这些技能受益于 Cosmos 3 的混合 Transformer 架构，该架构使用推理 Transformer 来分析观测结果，并将指令输入到生成模块，从而帮助扩展基于物理的虚拟世界。

借助智能体就绪的仿真工作流扩展机器人学习：借助 NVIDIA 机器人开发技能，研究人员可以让 AI 智能体自动执行场景准备、仿真和机器人学习等各阶段最常见的开发步骤，这背后依托于 NVIDIA Omniverse 库、Isaac Sim 以及 Isaac Lab 框架。在医疗健康机器人领域，Cosmos-H-Surgical-Simulator 通过生成逼真的手术机器人数据进行策略训练和评估，以此推进研究发展。

NVIDIA 正在通过用于训练、微调和评估的数据集，进一步扩展物理 AI 背后的研究基础设施。NVIDIA 物理 AI 数据集在 Hugging Face 的下载量已超 1500 万次，而 NVIDIA Isaac GR00T X Embodiment Sim 已成为下载量最高的机器人数据集之一。新发布的数据集包括 GRAIL（包括约 50 小时的人形机器人交互数据），以及六个用于在机器人、物理、数字人、辅助驾驶、仓库安全以及空间推理等领域训练 Cosmos 3 的合成视频数据集。

• 机器人 机器人 关注

  关注

  215

  文章

  31782

  浏览量

  224938