pxRobotLearning
pxRobotLearning ist eine End-to-End-Plattform für die Entwicklung, das Training, die Validierung und den produktiven Einsatz von Physical-AI-Systemen. Sie vereint simulationsbasierte Entwicklung, Datenerfassung, Imitation Learning, Reinforcement Learning und optimierte Inferenz in einer einzigen, kohärenten Pipeline, die von der Forschung bis zum realen Einsatz skalierbar ist.
- Simulationszentrierte Lernpipeline
- Flexible Lernalgorithmen
- Sim-to-Real-Adaptation & Feintuning
- Produktionsreife Bereitstellung & multimodales Lernen
Was wir liefern
Isaac-Sim-basierte Simulationspipeline
- Grundlage für hochpräzise Simulationen
Die Lernpipeline basiert auf Isaac Sim und bietet physikalisch realistische Umgebungen für die Roboterinteraktion und Datengenerierung - Skalierbare Trainingsumgebungen
Unterstützt groß angelegte parallele Simulationen für effizientes Training und die Evaluierung von Policies - Flexible Szenen- und Sensorkonfiguration
Ermöglicht die schnelle Einrichtung von Robotermodellen, Sensoren und Aufgabenszenarien
Algorithmen des Reinforcement Learning und des Imitation Learning
- Mehrere RL-Algorithmusoptionen
Bietet eine Auswahl modernster Reinforcement-Learning-Algorithmen, die für verschiedene Roboteraufgaben geeignet sind - Imitation Learning anhand von Demonstrationen
Unterstützt das Lernen aus Expertendaten, die über Teleoperation oder vorgegebene Policies erfasst wurden - Einheitliches Training-Framework
Ermöglicht die nahtlose Kombination oder den Wechsel zwischen RL- und IL-Methoden innerhalb derselben Pipeline
Multi-Physics Sim-to-Sim-Transfer
- Engine-übergreifende Validierung
Unterstützt den Sim-to-Sim-Transfer zwischen PhysX, Newton und MuJoCo zur Verbesserung der Generalisierung. - Physikbasierte Robustheitsprüfung
Setzt Policies variierenden Dynamiken, Kontakten und Randbedingungen aus - Reduzierte Simulatorverzerrung
Verhindert die Überanpassung an eine einzelne Physik-Engine
Sim-to-Real-Feinabstimmung
- Progressive Domänenanpassung
Feinabstimmung von in Simulationen trainierten Strategien mithilfe realer Daten - Schließen der Reality Gap
Behebt Diskrepanzen in Dynamik, Sensorik und Aktorik - Sicherer und effizienter Einsatz
Ermöglicht den schrittweisen Übergang von der Simulation zu physischen Robotern
Hochleistungsbereitstellung mit ONNX & TensorRT
- Standardisierter Modellexport
Konvertiert trainierte Modelle in ONNX für die frameworkunabhängige Bereitstellung - TensorRT-optimierte Inferenz
Ermöglicht latenzarme und hocheffiziente Ausführung auf Edge- und eingebetteten GPUs. - Produktionsreifer Laufzeit-Stack
Konzipiert für einen stabilen und skalierbaren Robotereinsatz
Vision-Language-Modelle und Vision-Language-Action-Lernen
- Multimodale Perzeption und Schlussfolgerung
Verbindet visuelle und sprachliche Verarbeitung zur Bewältigung komplexer Aufgaben - Vision-Language-Action(VLA)-Policies
Ermöglicht es Robotern, übergeordnete Anweisungen auf untergeordnete Aktionen abzubilden. - Feinabstimmung für Roboterdomänen
Passt vortrainierte multimodale Modelle an reale Roboterumgebungen und -aufgaben an.
Die Robot Learning Platform bietet einen durchgängigen Workflow, der Simulation, Lernen, Anpassung und Einsatz in einem einheitlichen System verbindet. Durch die Kombination von hochpräziser Simulation, flexiblen Lernalgorithmen, robustem Transfer von der Simulation in die Praxis und produktionsreifem Einsatz mit fortschrittlichen multimodalen Lernfunktionen ermöglicht die Plattform die skalierbare und zuverlässige Entwicklung intelligenter Roboterverhaltensweisen für ein breites Spektrum realer Anwendungen.
pxPerception
pxPerception ist eine hochpräzise Perzeptionsplattform für mobile und industrielle Roboter, die in komplexen, realen Umgebungen operieren. Sie bietet ein robustes räumliches Verständnis durch eng integrierte Sensor- und Perzeptionspipelines und ermöglicht so zuverlässige Lokalisierung, Kartierung und Interaktion selbst unter schwierigen Bedingungen wie schlechten Lichtverhältnissen, unübersichtlicher Umgebung oder dynamischen Szenen.
pxPerception wurde mit Blick auf simulationsbasierte Validierung und Real-to-Virtual-Workflows entwickelt und unterstützt die Entwicklung auf Basis digitaler Zwillinge. Dadurch wird der Übergang von der Perzeptionsforschung zu produktionsreifen Systemen beschleunigt.
- Hochpräzise Perzeptionslösung für mobile und industrielle, sowie humanoide Roboter
- Konzipiert für Umgebungen mit schwachen Lichtverhältnissen, Lagerhallen und Industrieanlagen mit robuster Sensorleistung
- Ermöglicht hochpräzise räumliche Perzeption für Navigation, Lokalisierung und Interaktion
- Bietet eine offene Entwicklungsplattform für die Integration und Individualisierung der Robotik-Perzeption
- Unterstützt digitale Zwillings-basierte Simulation und die Generierung synthetischer Daten
Was wir liefern
Integrierte LiDAR-IMU-Perzeption und -Lokalisierung
- Eng gekoppelte LiDAR-IMU-Integration
Die IMU ist mit der LiDAR-Sensorik synchronisiert, um neben der Punktwolkenerfassung auch Bewegungs- und Lageinformationen bereitzustellen. - Bewegungsabhängige Punktwolkengenerierung
Trägheitsmessungen kompensieren Bewegungsverzerrungen während des Scannens und verbessern so die Datenqualität bei dynamischer Bewegung. - Fusion mit punktwolkenbasierter Lokalisierung
Trägheitsbeschränkungen werden mit geometrischem Abgleich kombiniert, um die Robustheit und Genauigkeit der Lokalisierung zu verbessern. - Stabile Leistung auch unter schwierigen Bedingungen
Das integrierte Design verbessert die Zuverlässigkeit bei schnellen Bewegungen, spärlicher Geometrie und teilweise degenerierten Umgebungen.
CUDA-beschleunigtes SLAM
- CUDA-basierte GPU-Beschleunigung
Die Kernkomponenten von SLAM werden auf der GPU parallelisiert, um dichte Punktwolken in Echtzeit zu verarbeiten. - Hochleistungsfähiges Scan-Matching und Zustandsschätzung
Beschleunigte Registrierung und Schätzung ermöglichen einen Betrieb mit geringer Latenz in großflächigen Umgebungen - SDF-basierte Kartenrekonstruktion
Unterstützt TSDF- und ESDF-Darstellungen für dichte 3D-Kartierung und Szenenmodellierung - Kartierung für Planung und Kollisionsprüfung
Die generierten Karten können direkt von nachgelagerten Planungs- und Steuerungsmodulen verwendet werden.
Punktwolkenbasierte Erkennung und Segmentierung
- Native 3D-Perzeption von Punktwolken
Die Perzeption arbeitet direkt mit 3D-Daten, unabhängig von Beleuchtung und visuellem Erscheinungsbild. - Von der Erkennung zur Segmentierung
Bietet Objekterkennung, semantische Segmentierung und Instanzverständnis - Geometrische und lernbasierte Methoden
Kombiniert klassische Geometrie mit datengetriebenen Modellen für eine robuste Perzeption - Reichhaltiges semantisches Verständnis von Umgebungen
Ermöglicht es Robotern, Hindernisse, Strukturen und Funktionsbereiche in komplexen Szenen zu erkennen.
pxTeleopForceXR
- AR/VR-Teleoperation mit Force-Feedback und benutzerdefinierter visueller und haptischer Unterstützung
- Factr/Robot als Führungsgerät, Meta Quest 3 / Apple Vision Pro als XR-Gerät
- Datenerfassung in der Simulation: Isaac Sim für Prototypentests der ersten Phase
- Isaac-Lab-Integration für das Training mit menschlichen Korrekturen/Interventionen
- ZeroMQ- und DDS-Middleware als Kommunikationsalternative
Ein stimmiges Gefühl bei der XR-Teleoperation mit Force-Feedback lässt sich selten in einem einzigen Schritt erreichen – insbesondere bei häufig wechselnden Aufgaben, Werkzeugen und Prototypen-Hardware. Gleichzeitig benötigen visuelles Imitationslernen und VLA-Ansätze hochwertige Datensätze für vielfältige Aufgaben , während Reinforcement Learning oft von Human-in-the-Loop-Korrekturen profitiert, die menschliche Intentionen als stabilisierendes Signal während des Trainings einbeziehen.
PxForceXRTeleop vereinfacht diesen Prozess durch einen integrierten AR/VR- und Force-Feedback-Teleoperationsstack mit benutzerdefinierter visueller und haptischer Führung . Auf der Bedienerseite unterstützt es ein Leader-Arm -Setup – basierend auf FACTR – und kann zudem mit Roboterarmen als haptische Geräte gekoppelt werden, wenn höherauflösendes Kraftfeedback erforderlich ist.
Für die erste Testphase und schnelle Iterationen nutzt PxForceXRTeleop NVIDIA Omniverse Isaac Sim, um Interaktion und Führung zu validieren und gleichzeitig strukturierte Demonstrationen für die Datensatzgenerierung zu sammeln. Für HIL-RL zielt es auf Isaac Lab ab und ermöglicht so Trainingsabläufe, bei denen Menschen effizient eingreifen und Korrekturen vornehmen können.
Die Integration wird durch ZeroMQ (Streaming mit hohem Durchsatz) und DDS-Middleware (Echtzeit-Messaging) modular und einsatzfreundlich gestaltet, mit konfigurierbarem Laufzeitverhalten für Skalierung, Filterung, Sicherheitsgrenzen, Führungsstrategien und haptische Profile.