pxTeleopForceXR
- 具备力反馈功能的AR/VR远程操作 + 自定义视觉和力引导
- Factr/Robot 作为引导臂,Meta Quest 3 / Apple Vision Pro 作为 XR 设备
- 仿真中的数据集收集:Isaac Sim 用于第一阶段原型测试
- Isaac Lab 集成用于与人工纠正/干预进行培训
- ZeroMQ 和 DDS 中间件作为通信替代方案
要让带有力反馈的XR远程操作达到“正确”的手感,很少能一步到位——尤其是在任务、工具和原型硬件频繁变化的情况下。同时,视觉模仿学习和VLA方法需要涵盖多个任务的高质量数据集,而强化学习通常受益于人机交互修正,这种修正在训练过程中注入人类意图作为稳定信号。
PxForceXRTeleop通过集成AR/VR + 力反馈远程操作堆栈简化了这一流程,该堆栈具有自定义视觉和力引导功能。在操作员端,它支持以FACTR 为模板的引导臂设置,并且在需要更高保真度的力反馈时,还可以与机械臂配对作为触觉设备。
在第一阶段测试和快速迭代中,PxForceXRTeleop 利用NVIDIA Omniverse Isaac Sim来验证交互和指导,同时收集结构化演示以生成数据集。对于HIL-RL ,它以Isaac Lab为目标平台,支持人类能够高效地提供干预和纠正的训练工作流程。
通过ZeroMQ (高吞吐量流)和DDS 中间件(实时消息传递)保持集成的模块化和易于部署的特性,并提供可配置的运行时行为,用于扩展、过滤、安全限制、指导策略和触觉配置文件。