意法半导体与英伟达深化合作以推动物理AI普及应用

‍‍‍‍‍‍‍‍ 意法半导体传感器、微控制器和电机控制解决方案与英伟达机器人生态系统深度融合，助力开发者设计、训练和部署更高效率、更高可靠性和可扩展性的人形机器人和其他物理AI系统

首先是Leopard Imaging公司采用意法半导体传感器设计的立体深度相机与英伟达Holoscan Sensor Bridge技术的全面融合；意法半导体IMU传感器的高保真仿真到真机模型加入英伟达Isaac Sim生态系统

意法半导体（ST）近日宣布，将其完善的先进机器人产品组合加入兼容英伟达Holoscan Sensor Bridge (HSB)接口的参考组件清单，以加快物理人工智能系统的普及应用，包括人形机器人、工业机器人、服务机器人、医疗机器人等。同时，意法半导体还将其产品的高保真NVIDIA Isaac Sim模型纳入两家公司的机器人生态系统，以提高从仿真到真机的研发速度和准确度。意法半导体为开发者带来首批合作成果：与NVIDIA HSB技术深度融合的Leopard公司采用意法半导体技术设计的深度相机；意法半导体IMU传感器的高保真模型加入NVIDIA Isaac Sim生态系统。

意法半导体负责美洲区及全球大客户销售与市场部的执行副总裁Rino Peruzzi表示：“ST积极参与机器人行业的生态合作，为市场提供强有力的支持和完善的生态系统。我们与英伟达的合作目标是在尖端机器人领域掀起新一波创新浪潮，从人工智能算法的创建开发，到传感器和执行器的无缝集成，精简优化机器人研发流程的每一环节，加快复杂的物理AI平台的升级迭代。”

英伟达机器人与边缘人工智能部副总裁Deepu Talla表示：“加快开发下一代自主系统需要高保真仿真和硬件无缝集成，弥合虚拟训练和真机部署之间的差异。ST传感器和执行器技术与NVIDIA Isaac Sim、Holoscan Sensor Bridge和Jetson平台的深度集成，为开发者构建、仿真和大规模部署物理AI提供了一个统一的底层平台。”

通过Holoscan Sensor Bridge简化传感器和执行器与机器人平台的无缝集成

通过NVIDIA HSB技术，开发者可以统一、标准化、同步和精简从多个意法半导体传感器和执行器采集记录数据的过程，为构建高保真NVIDIA Isaac模型、加快学习和最大限度缩小仿真与真机之间的差异奠定了基础。

双方合作目标是通过人形机器人预集成解决方案，整合STM32 MCU、高级传感器（包括IMU惯性测量单元、成像传感器和ToF测距芯片）和电机控制解决方案，简化意法半导体传感器和执行器与NVIDIA Jetson平台的集成过程。Leopard Imaging的机器人立体深度相机就是一个完美例子。该相机采用意法半导体的成像传感器、深度测距和运动感测技术，有望助力支持物理人工智能OEM厂商、学术研究机构、工业机器人等各种机器人设计。

通过构建基于Omniverse Isaac的高保真模型，攻克产品成本和设计复杂性挑战

除了建模挑战外，高级机器人开发者还面临着高昂的开发成本。高保真仿真及广泛随机化需占用大量的GPU和CPU资源以及庞大的数据集。选择随机化哪些参数以及随机化范围需要深厚的域专业知识，而选择不当会导致场景不真实或训练效率低。最后，参数过度变化会导致模型混乱，减缓收敛速度，当随机化不再反映真实条件时，可能会降低真机性能。

意法半导体和英伟达的目标是让意法半导体丰富的产品组合具有准确的硬件校准模型，满足高级机器人技术的需求。在首个IMU模型发布后，意法半导体还为开发者提供ToF传感器、执行器和其他芯片的基于实体硬件基准测试数据建立的模型。该解决方案使用意法半导体的工具捕捉准确参数和真实的硬件行为特性，然后针对英伟达的Isaac Sim生态系统对模型进行优化。NVIDIA HSB正在通过合作方式融入意法半导体工具链。

因此，意法半导和英伟达设想，更准确的模型将显著提升机器人的学习能力。通过使用能够更准确复制真机行为的模型，机器人可以在更能反映实际情况的仿真环境中学习技能，缩短训练周期，降低人形机器人相关应用的开发改进成本。