pxTeleopForceXR
- AR/VR-Teleoperation mit Force-Feedback und benutzerdefinierter visueller und haptischer Unterstützung
- Factr/Robot als Führungsgerät, Meta Quest 3 / Apple Vision Pro als XR-Gerät
- Datenerfassung in der Simulation: Isaac Sim für Prototypentests der ersten Phase
- Isaac-Lab-Integration für das Training mit menschlichen Korrekturen/Interventionen
- ZeroMQ- und DDS-Middleware als Kommunikationsalternative
Ein stimmiges Gefühl bei der XR-Teleoperation mit Force-Feedback lässt sich selten in einem einzigen Schritt erreichen – insbesondere bei häufig wechselnden Aufgaben, Werkzeugen und Prototypen-Hardware. Gleichzeitig benötigen visuelles Imitationslernen und VLA-Ansätze hochwertige Datensätze für vielfältige Aufgaben , während Reinforcement Learning oft von Human-in-the-Loop-Korrekturen profitiert, die menschliche Intentionen als stabilisierendes Signal während des Trainings einbeziehen.
PxForceXRTeleop vereinfacht diesen Prozess durch einen integrierten AR/VR- und Force-Feedback-Teleoperationsstack mit benutzerdefinierter visueller und haptischer Führung . Auf der Bedienerseite unterstützt es ein Leader-Arm -Setup – basierend auf FACTR – und kann zudem mit Roboterarmen als haptische Geräte gekoppelt werden, wenn höherauflösendes Kraftfeedback erforderlich ist.
Für die erste Testphase und schnelle Iterationen nutzt PxForceXRTeleop NVIDIA Omniverse Isaac Sim, um Interaktion und Führung zu validieren und gleichzeitig strukturierte Demonstrationen für die Datensatzgenerierung zu sammeln. Für HIL-RL zielt es auf Isaac Lab ab und ermöglicht so Trainingsabläufe, bei denen Menschen effizient eingreifen und Korrekturen vornehmen können.
Die Integration wird durch ZeroMQ (Streaming mit hohem Durchsatz) und DDS-Middleware (Echtzeit-Messaging) modular und einsatzfreundlich gestaltet, mit konfigurierbarem Laufzeitverhalten für Skalierung, Filterung, Sicherheitsgrenzen, Führungsstrategien und haptische Profile.