ST加入NVIDIA Halos，以传感器、MCU和电机控制技术补齐物理AI链条

ST（意法半导体）日前宣布加入NVIDIA Halos机器人功能安全体系。NVIDIA Halos被定位为面向机器人和物理AI的端到端功能安全系统，主要由NVIDIA IGX Thor与NVIDIA Holoscan Sensor Bridge、NVIDIA Halos OS，以及NVIDIA Halos AI Systems Inspection Lab三部分组成。


在这一体系中，ST将为NVIDIA Holoscan Sensor Bridge提供传感器和微控制器，并把自身在图像感知、惯性测量、距离探测、实时控制和电机驱动方面的产品引入机器人开发平台。


对ST而言，这项合作并非单纯增加几个兼容器件，机器人要真正从仿真环境走向现实世界，需要打通感知、数据传输、边缘计算、运动控制和功能安全等多个环节。ST希望提供一套可直接用于开发的感知、处理和执行基础模块，降低工程师从零搭建机器人硬件系统的难度。


早在2026年3月17日，ST就曾公布与NVIDIA及Leopard Imaging在物理AI领域的合作。三家公司共同开发了一款集成ST传感器的Holoscan Sensor Bridge模块，可将多模态传感数据以低时延方式实时传输至NVIDIA Jetson Thor或Jetson Orin平台，用于机器人感知、决策和控制。


物理AI的难点在于走进现实世界


过去几年，传感器、微控制器和人工智能技术都取得了明显进步。


如今的图像传感器能够以较高精度采集环境信息，部分手机已经可以扫描房间并生成三维模型。部分传感器也具备本地运行机器学习算法的能力，可以在数据传输到主处理器之前完成初步识别和判断。


微控制器的性能同样快速提升。过去需要高性能计算机完成的部分信号处理和控制任务，现在已经能够运行在低功耗嵌入式平台上。与此同时，GPU、加速计算、高速接口和互连技术的发展，也推动了大模型训练、科学仿真和复杂数据处理能力的提升。


然而，家用人形机器人仍未普及，自动驾驶系统距离全面应用也还有较长距离。


原因在于，能够处理数字信息的AI，与能够在现实环境中稳定运行的机器人之间，仍然存在很大差距。物理AI关注的正是这一问题。


按照相关研究中的定义，物理AI不仅需要在数字空间中处理信息和作出决策，还要通过传感器感知现实环境，对动态状态进行建模，并利用机械臂、驱动机构和抓取装置等执行器，将决策转化为现实动作。


因此，物理AI系统必须同时处理感知、计算和控制问题。


机器人需要从摄像头、惯性传感器、距离传感器等设备中获取信息，在有限时间内完成分析和决策，再将控制指令传递给电机和执行机构。整个过程还要面对噪声、遮挡、振动、光照变化、通信抖动和模型误差等现实因素。


仿真环境中的机器人可以拥有理想的传感器、稳定的通信链路和可预测的物理条件，真实环境却不会按照预设脚本运行。


缩小仿真与现实之间的差距，已经成为物理AI工程化的核心任务。


ST用多类传感器构建机器人感知单元


在感知层面，ST与Leopard Imaging共同设计了一套面向机器人头部的多传感器模块。


该模块采用两颗ST VB1940车规级500万像素图像传感器，VB1940支持全局快门和卷帘快门两种工作模式。


全局快门可以让整幅图像的像素同时曝光，更适合捕捉高速运动物体，能够减少运动拖影和几何畸变。卷帘快门则依次读取不同像素行，通常能够在画质、功耗和系统成本之间取得平衡。


同时支持两种快门模式，使同一套视觉系统能够根据机器人运动速度、光照条件和图像质量要求进行调整。


模块还集成了ST的LSM6DSV16X六轴惯性测量单元。该器件内部包含加速度计和陀螺仪，并具备机器学习处理能力，可用于识别运动状态、姿态变化和振动特征。


距离和空间感知则由VL53L9CX直接飞行时间传感器完成。该器件通过测量光信号发射与返回之间的时间差，获得目标距离和空间分布信息。


摄像头、惯性测量单元与飞行时间传感器分别提供视觉、运动和深度信息。多种数据结合后，机器人能够更完整地理解周围环境。


ST还参与设计了一套电机控制应用。该方案采用两颗STSPIN32G4电机控制器，以及ASM330LHH加速度计和陀螺仪。


STSPIN32G4是ST首款集成MCU的电机控制器，可将实时控制算法、功率级驱动和系统管理功能结合起来。ASM330LHH则负责检测设备运动和姿态变化，为稳定控制和运动补偿提供反馈。


Leopard Imaging将分散器件整合成感知模块


拥有性能较好的传感器，并不等于能够迅速搭建一套机器人感知系统。


工程师还需要处理传感器同步、接口转换、信号完整性、电磁干扰、PCB设计、散热和软件驱动等问题。多种传感器同时工作时，系统还要保证时间戳一致，并准确建立不同坐标系之间的对应关系。


为降低这些集成难度，ST与Leopard Imaging合作，将图像、惯性和距离传感器整合到一套模块中。

Leopard Imaging负责完成模组设计、接口集成和硬件适配，使开发者能够直接获得一套可用于机器人开发的多模态感知单元。


采用集成模块后，开发者无需从头调整数字信号处理流程，也不必独立解决电磁兼容和定制PCB问题，可以将更多精力放在感知算法、机器人行为和应用开发上。


Holoscan Sensor Bridge连接传感器与计算平台


摄像头、惯性测量单元和距离传感器会持续产生数据。随着传感器数量和分辨率提高，传统低速控制总线难以满足实时传输要求。


延迟和抖动同样会直接影响机器人控制。


如果感知数据到达计算平台的时间不稳定，算法看到的环境状态可能已经落后于现实。机器人根据过时信息作出动作，便可能引发控制误差。


为此，ST和Leopard Imaging与NVIDIA合作，使感知模块能够接入NVIDIA Holoscan Sensor Bridge。


Holoscan Sensor Bridge是一套基于以太网的传感器数据流平台，可以将传感器和执行器数据实时传输到负责决策或运动控制的计算系统。


该平台可利用NVIDIA Thor、IGX以及基于ConnectX的DGX Spark等平台上的硬件加速网络能力，降低传输延迟和抖动，同时减少CPU参与数据搬运的负担。


相比由CPU持续处理数据封装、转发和协议任务，硬件加速网络可以把更多处理器资源留给AI推理、路径规划和控制算法。


这种架构还具备较好的扩展能力。当机器人增加摄像头、雷达、惯性传感器或执行机构时，可以继续通过统一网络接入计算系统。


STM32H7承担传感器和执行器的网络连接


除感知模块外，ST还与NVIDIA完成了一项概念验证，将Holoscan Sensor Bridge嵌入式软件IP直接运行在具备高级以太网功能的STM32H7微控制器上。


这一方案在NVIDIA计算平台与基于MCU的传感器和电机控制系统之间建立了硬件加速链路。


在机器人架构中，Jetson或IGX平台更适合运行视觉模型、AI推理、环境建模和任务规划，MCU则负责传感器管理、电机控制、实时通信和安全监控。


两类处理器承担的任务不同。


高性能计算平台追求吞吐量和复杂模型处理能力，MCU更强调确定性、低延迟和实时响应。机器人需要通过稳定的通信机制，将AI平台的决策传递到执行器，同时把传感器和电机状态返回给上层计算系统。


Holoscan Sensor Bridge运行在STM32H7上后，MCU节点可以直接接入NVIDIA平台，降低通信抖动、延迟和CPU负载。


这使得机器人系统能够形成更加清晰的分层架构：上层运行AI和复杂决策，下层完成实时感知采集与运动控制，中间通过高速、确定性的网络连接。


从Isaac Sim验证传感器到Jetson部署算法


物理AI开发的另一个难点，是如何在制造实体机器人之前验证系统设计。


机器人硬件原型成本较高，调试过程也可能带来机械损坏和安全风险。因此，越来越多机器人开发流程从仿真开始。


NVIDIA曾提出面向机器人的“三台计算机”架构。


第一台是用于AI训练的NVIDIA DGX AI超级计算机；第二台是运行NVIDIA Omniverse和Cosmos、承担机器人仿真的NVIDIA RTX PRO服务器；第三台则是部署在机器人端侧、运行AI推理和控制任务的NVIDIA Jetson系统。


ST的传感器正在进入这套仿真与部署流程。


ST称，其成为首家在NVIDIA Isaac Sim中提供器件模型的惯性测量单元供应商。Isaac Sim是基于NVIDIA Omniverse构建的机器人仿真和测试平台。


开发者可以在设计实体机器人之前，在虚拟环境中评估传感器性能，观察噪声、运动和不同工作条件对系统行为的影响。


在完成机器人策略设计和仿真验证后，开发者可以将控制策略部署到NVIDIA Jetson Thor或Jetson Orin平台。


Holoscan Sensor Bridge负责把真实传感器信息传输到Jetson计算单元。例如，搭载ST传感器的Leopard Imaging模块可以通过Holoscan Sensor Bridge接入Jetson平台，形成从环境感知到AI处理的实时链路。


开发者还可以通过Holoscan Sensor Bridge的以太网接口，将实体硬件模块连接到运行Isaac Sim的NVIDIA服务器。


这种方式相当于把部分真实硬件放入虚拟测试环境中，形成硬件在环验证。工程师可以保留真实传感器和通信链路，同时在仿真环境中调整机器人算法和系统参数。


相比完全虚拟的仿真，硬件在环测试能够更早暴露接口时序、通信延迟和实际传感器误差等问题。


NVIDIA Halos把功能安全引入物理AI体系


随着ST加入NVIDIA Halos，双方的合作范围开始从感知、通信和计算进一步扩展到功能安全。


传统工业机器人通常在相对封闭的区域运行，与人员保持物理隔离。未来的服务机器人、人形机器人和自主移动设备，则需要进入家庭、工厂、仓库和公共环境，与人近距离协作。


在这类场景中，机器人既要具备更强的环境理解能力，也要保证故障发生时不会产生不可接受的风险。


功能安全关注的是：当传感器、处理器、通信链路或者执行器发生故障时，系统能否及时发现异常，并进入可控状态。对物理AI来说，这一问题更加复杂。


AI模型本身具有一定概率性，现实环境也存在大量不确定因素。系统不仅要检测传统硬件故障，还要评估感知、决策和执行链路中的异常行为。


NVIDIA Halos试图把硬件平台、操作系统和AI系统验证结合起来，形成覆盖机器人全链条的安全体系。


ST长期布局车规和工业功能安全技术，其传感器、MCU和电机控制产品已经被用于多类安全相关系统。加入NVIDIA Halos后，这些器件将进一步接入面向机器人和物理AI的功能安全开发流程。


物理AI正在从单点器件走向完整开发链条


此次合作覆盖了物理AI系统中的多个关键环节。


ST提供图像传感器、惯性测量单元、飞行时间传感器、微控制器和电机控制器；Leopard Imaging将这些器件整合为多模态感知模块；Holoscan Sensor Bridge负责实时数据传输；Jetson平台运行AI推理和控制策略；Isaac Sim承担仿真与验证；NVIDIA Halos则进一步加入功能安全能力。


机器人是一套由感知、计算、网络和执行共同构成的实时系统。任何一个环节出现延迟、抖动、数据不同步或控制误差，都可能影响整机表现。单颗性能更高的传感器，无法独立解决机器人的环境感知问题。算力更强的处理器，也无法自动完成实时通信、电机控制和安全设计。


ST、Leopard Imaging和NVIDIA试图通过经过验证的器件、模块和平台，把这些环节提前连接起来。


对开发者而言，这种平台化合作能够减少元器件选型、模组设计、接口适配和通信优化等基础工作，将研发资源更多投入到机器人算法、行为设计和具体应用中。


物理AI真正进入现实世界，靠的不只是一个更大的模型。传感器需要准确看见环境，网络需要及时传递信息，计算平台需要作出判断，MCU和电机控制器还要把判断变成稳定、精确且安全的动作。