用于合成数据的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基础模型,为通用人形机器人的开发注入了动力。1月6日,NVIDIA创始人兼首席执行官黄仁勋在 CES 上宣布 NVIDIA 正式推出用于合成运动生成的 NVIDIA Isaac GR00T Blueprint,该 Blueprint 可帮助开发者生成海量的…
用于合成数据的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基础模型,为通用人形机器人的开发注入了动力。
1月6日,NVIDIA创始人兼首席执行官黄仁勋在 CES 上宣布 NVIDIA 正式推出用于合成运动生成的 NVIDIA Isaac GR00T Blueprint,该 Blueprint 可帮助开发者生成海量的合成运动数据,以便通过模仿学习来训练人形机器人。
官方表示,未来二十年,预计人形机器人市场将达到 380 亿美元。为了满足这一巨大需求,尤其是工业和制造业领域的需求,NVIDIA 发布了一系列机器人基础模型、数据管线和仿真框架,以加速下一代人形机器人的开发进程。
模仿学习是机器人学习的一个子集,它能让人形机器人通过观察和模仿人类专家的示范来获取新技能。在真实世界中收集这些广泛、高质量的数据集既繁琐又耗时,而且成本往往高得令人却步。通过用于合成运动生成的 Isaac GR00T Blueprint,开发者只需少量人类示范,就能轻松生成海量的合成数据集。
首先通过 GR00T-Teleop 工作流,用户可以借助 Apple Vision Pro 在数字孪生环境中捕捉人类动作。这些人类动作会被记录下来作为金标准,并在仿真环境中由机器人模仿学习。
然后,GR00T-Mimic 工作流会将捕捉到的人类示范扩展成更大的合成运动数据集。最后,基于 NVIDIA Omniverse 和 NVIDIA Cosmos 平台构建的 GR00T-Gen 工作流,会通过域随机化和 3D 提升技术,指数级扩增这个数据集。
之后,该数据集可作为机器人策略的输入,在 NVIDIA Isaac Lab(一个用于机器人学习的开源模块化框架)中,教会机器人如何在其环境中高效且安全地移动和互动。
NVIDIA在 CES 上还发布了 Cosmos 平台,该平台拥有一系列开放的预训练世界基础模型,专为生成具有物理感知的视频和物理 AI 开发所需的世界状态而设计。它包含自回归模型和扩散模型,有各种模型尺寸并适用于多种输入数据格式。这些模型基于 1800 万亿个数据单元进行训练,其中包括 200 万小时的自动驾驶、机器人、无人机拍摄的视频以及合成数据。
除了帮助生成大型数据集外,Cosmos 还能通过将图像从 3D 扩展到真实场景,缩小仿真与现实之间的差距。将 Omniverse(一个用于构建 3D 应用程序和服务的应用程序编程接口和微服务开发平台)与 Cosmos 相结合至关重要,通过其高度可控、物理精确的仿真提供关键保障,有助于最大限度地减少世界模型常见的幻觉问题。
NVIDIA Isaac GR00T、Omniverse 和 Cosmos 正在助力物理 AI 和人形机器人创新实现巨大飞跃。包括波士顿动力和 Figure 在内的主要机器人公司已开始采用 Isaac GR00T,并展示了相关成果。
据介绍,人形机器人的软件、硬件制造商以及机器人厂商还可以申请提前加入 NVIDIA 的人形机器人开发者计划。
电话咨询:86-755-83294757
企业QQ:1668527835/ 2850151598/ 2850151584/ 2850151585
服务时间:9:00-18:00
联系邮箱:chen13410018555@163.com/sales@hkmjd.com
公司地址:广东省深圳市福田区振中路新亚洲国利大厦1239-1241室
CopyRight©2022 版权归明佳达电子公司所有 粤ICP备05062024号-12
官方二维码
友情链接: