pxRobotLearning
pxRobotLearning是一个端到端的平台，用于开发、训练、验证和部署物理人工智能系统。它将仿真优先开发、数据收集、模仿学习、强化学习和优化推理整合到一个单一、连贯的流程中，可以从研究扩展到实际部署。
- 以仿真为中心的学习流程
- 灵活的学习算法
- 仿真到实际的适应与微调
- 生产就绪部署和多模式学习
我们提供什么
Isaac Sim 基于仿真的流程
- 高保真仿真基础
该学习流程基于 Isaac Sim 构建，为机器人交互和数据生成提供物理上逼真的环境。 - 可扩展的训练环境
支持大规模并行仿真，以实现高效的政策训练和评估 - 灵活的场景和传感器配置
支持快速设置机器人模型、传感器和任务场景
强化学习与模仿学习算法
- 多种强化学习算法选项
提供一系列适用于不同机器人任务的先进强化学习算法。 - 通过示范进行模仿学习
支持从通过远程操作或脚本策略收集的专家数据中进行学习 - 统一培训框架
允许在同一流程中无缝组合或切换强化学习 (RL) 和迭代学习 (IL) 方法。
多物理场仿真间传输
- 跨引擎验证
支持在 PhysX、Newton 和 MuJoCo 之间进行仿真间数据迁移，以提高泛化能力。 - 物理感知鲁棒性测试
政策会受到各种动态因素、联系和约束的影响。 - 降低模拟器偏差
缓解过度拟合单一物理引擎的问题
仿真到实际的微调
- 渐进式域适应
利用真实世界数据对在模拟环境中训练的策略进行微调 - 弥补现实差距
解决动力学、传感和驱动方面的差异 - 安全高效的部署
实现从仿真到物理机器人的逐步过渡
使用 ONNX 和 TensorRT 实现高性能部署
- 标准化模型导出
将训练好的模型转换为 ONNX 格式，以便进行与框架无关的部署。 - TensorRT优化推理
在边缘和嵌入式GPU上实现低延迟、高吞吐量的执行 - 可用于生产环境的运行时栈
专为稳定且可扩展的机器人部署而设计
视觉-语言模型与视觉-语言-动作学习
- 多模态感知与推理
整合视觉和语言理解能力以完成复杂任务 - 视觉-语言-行动（VLA）政策
使机器人能够将高级指令映射到低级动作 - 针对机器人领域的微调
将预训练的多模态模型适配到真实的机器人环境和任务中
机器人学习平台提供端到端的工作流程，将仿真、学习、适应和部署整合到一个统一的系统中。该平台结合了高保真仿真、灵活的学习算法、强大的仿真到实测迁移能力、可直接用于生产的部署方案以及先进的多模态学习功能，从而能够面向广泛的实际应用，实现智能机器人行为的可扩展和可靠开发。
pxPerception
pxPerception是一个高精度感知平台，适用于在复杂真实环境中运行的移动和工业机器人。它通过紧密集成的传感和感知流程提供强大的空间理解能力，即使在弱光、杂乱或动态场景等具有挑战性的条件下，也能实现可靠的定位、建图和交互。
pxPerception 的设计理念是先进行仿真验证，再从现实到虚拟的工作流程，它支持基于数字孪生的开发，并加速从感知研究到生产就绪系统的过渡。
- 面向移动和工业机器人及人形机器人的高精度感知解决方案
- 专为弱光、仓库和工业环境设计，具有强大的传感性能
- 实现高精度空间感知，用于导航、定位和交互
- 提供一个用于机器人感知集成和定制的开放式开发平台
- 支持基于数字孪生的仿真和合成数据生成
我们提供什么
激光雷达-惯性测量单元融合感知与定位
- 紧密耦合的激光雷达-惯性测量单元集成
IMU与LiDAR传感同步，在采集点云数据的同时提供运动和姿态信息。 - 感知运动的点云生成
惯性测量可补偿扫描过程中的运动畸变，从而提高动态运动下的数据质量 - 与基于点云的定位融合
将惯性约束与几何匹配相结合，可以提高定位的鲁棒性和精度。 - 在严苛条件下表现稳定
集成式设计提高了在快速运动、稀疏几何形状和部分退化环境下的可靠性。
CUDA加速的SLAM
- 基于 CUDA 的 GPU 加速
核心SLAM组件在GPU上并行处理，以实现密集点云的实时处理。 - 高性能扫描匹配和状态估计
加速的配准和估计使得大规模环境下的低延迟操作成为可能。 - 基于SDF的地图重建
支持用于密集三维映射和场景建模的TSDF和ESDF表示 - 用于规划和碰撞检查的地图
生成的地图可直接供下游规划和控制模块使用。
基于点云的检测与分割
- 基于点云的原生3D感知
感知直接作用于 3D 数据，不受光照和视觉外观的影响。 - 从检测到分割
提供目标检测、语义分割和实例级理解 - 几何和基于学习的方法
结合经典几何学和数据驱动模型，实现稳健的感知 - 对环境有丰富的语义理解
使机器人能够在复杂场景中识别障碍物、结构和功能区域
pxTeleopForceXR
- 具备力反馈功能的AR/VR远程操作 + 自定义视觉和力引导
- Factr/Robot 作为引导臂，Meta Quest 3 / Apple Vision Pro 作为 XR 设备
- 仿真中的数据集收集：Isaac Sim 用于第一阶段原型测试
- Isaac Lab 集成用于与人工纠正/干预进行培训
- ZeroMQ 和 DDS 中间件作为通信替代方案
要让带有力反馈的XR远程操作达到“正确”的手感，很少能一步到位——尤其是在任务、工具和原型硬件频繁变化的情况下。同时，视觉模仿学习和VLA方法需要涵盖多个任务的高质量数据集，而强化学习通常受益于人机交互修正，这种修正在训练过程中注入人类意图作为稳定信号。
PxForceXRTeleop通过集成AR/VR + 力反馈远程操作堆栈简化了这一流程，该堆栈具有自定义视觉和力引导功能。在操作员端，它支持以FACTR 为模板的引导臂设置，并且在需要更高保真度的力反馈时，还可以与机械臂配对作为触觉设备。
在第一阶段测试和快速迭代中，PxForceXRTeleop 利用NVIDIA Omniverse Isaac Sim来验证交互和指导，同时收集结构化演示以生成数据集。对于HIL-RL ，它以Isaac Lab为目标平台，支持人类能够高效地提供干预和纠正的训练工作流程。
通过ZeroMQ （高吞吐量流）和DDS 中间件（实时消息传递）保持集成的模块化和易于部署的特性，并提供可配置的运行时行为，用于扩展、过滤、安全限制、指导策略和触觉配置文件。