pxRobotLearning

pxRobotLearning是一个端到端的平台，用于开发、训练、验证和部署物理人工智能系统。它将仿真优先开发、数据收集、模仿学习、强化学习和优化推理整合到一个单一、连贯的流程中，可以从研究扩展到实际部署。

以仿真为中心的学习流程
灵活的学习算法
仿真到实际的适应与微调
生产就绪部署和多模式学习

我们提供什么

Isaac Sim 基于仿真的流程

高保真仿真基础
该学习流程基于 Isaac Sim 构建，为机器人交互和数据生成提供物理上逼真的环境。
可扩展的训练环境
支持大规模并行仿真，以实现高效的政策训练和评估
灵活的场景和传感器配置
支持快速设置机器人模型、传感器和任务场景

强化学习与模仿学习算法

多种强化学习算法选项
提供一系列适用于不同机器人任务的先进强化学习算法。
通过示范进行模仿学习
支持从通过远程操作或脚本策略收集的专家数据中进行学习
统一培训框架
允许在同一流程中无缝组合或切换强化学习 (RL) 和迭代学习 (IL) 方法。

多物理场仿真间传输

跨引擎验证
支持在 PhysX、Newton 和 MuJoCo 之间进行仿真间数据迁移，以提高泛化能力。
物理感知鲁棒性测试
政策会受到各种动态因素、联系和约束的影响。
降低模拟器偏差
缓解过度拟合单一物理引擎的问题

仿真到实际的微调

渐进式域适应
利用真实世界数据对在模拟环境中训练的策略进行微调
弥补现实差距
解决动力学、传感和驱动方面的差异
安全高效的部署
实现从仿真到物理机器人的逐步过渡

使用 ONNX 和 TensorRT 实现高性能部署

标准化模型导出
将训练好的模型转换为 ONNX 格式，以便进行与框架无关的部署。
TensorRT优化推理
在边缘和嵌入式GPU上实现低延迟、高吞吐量的执行
可用于生产环境的运行时栈
专为稳定且可扩展的机器人部署而设计

视觉-语言模型与视觉-语言-动作学习

多模态感知与推理
整合视觉和语言理解能力以完成复杂任务
视觉-语言-行动（VLA）政策
使机器人能够将高级指令映射到低级动作
针对机器人领域的微调
将预训练的多模态模型适配到真实的机器人环境和任务中

机器人学习平台提供端到端的工作流程，将仿真、学习、适应和部署整合到一个统一的系统中。该平台结合了高保真仿真、灵活的学习算法、强大的仿真到实测迁移能力、可直接用于生产的部署方案以及先进的多模态学习功能，从而能够面向广泛的实际应用，实现智能机器人行为的可扩展和可靠开发。