CogniSafe3D
Mit dem Projekt CogniSafe3D schließen wir die Lücke zwischen deterministischer industrieller Sicherheit und der Flexibilität KI-gesteuerter Robotik.
Moderne Robotersysteme setzen zunehmend auf Deep Learning und adaptives Verhalten. Industrielle Sicherheitsstandards fordern jedoch deterministisches, zertifizierbares Verhalten. Dies führt zu einem grundlegenden Konflikt: Nicht-deterministische KI-Systeme müssen innerhalb deterministischer Sicherheitsrahmen funktionieren.
Herkömmliche Sicherheitssysteme setzen häufig auf 2D-Sensortechnologien, die konservative Geschwindigkeitsbegrenzungen durchsetzen oder häufige Stopps auslösen – was die Produktivität mindert und eine echte Zusammenarbeit einschränkt.
CogniSafe3D begegnet dieser Herausforderung durch die Einführung einer kognitiven 3D-Sicherheitsarchitektur , die deterministische Sicherheitsgarantien mit KI-gestütztem Umgebungsverständnis kombiniert. Ziel ist es , adaptive, zertifizierbare Sicherheit zu ermöglichen, ohne die Effizienz zu beeinträchtigen.
CogniSafe3D nutzt externe hochauflösende 3D-LiDAR zur Überwachung gemeinsam genutzter Arbeitsbereiche und entwickelt ein mehrschichtiges Sicherheitskonzept:
- Deterministische Grundlage
- Kognitive Schicht
Deterministische Grundlage
- Verarbeitung von 3D-Punktwolken mittels Signed Distance Fields (SDF)
- Zuverlässige, sicherheitsgeprüfte Erkennung von Verstößen
- Deterministische Durchsetzung räumlicher Sicherheitsgrenzen
- Echtzeit-Risikoüberwachung unabhängig von KI-Komponenten
Diese Grundlage gewährleistet die Einhaltung aktueller Sicherheitsstandards und liefert ein zertifizierbares Ausgangsverhalten.
Kognitive Schicht
- KI-basierte Schätzung der menschlichen Körperhaltung (HPE)
- Algorithmen zur Prognose menschlicher Absichten und Bewegungen
- Kontextsensitive Risikobewertung
- Dynamische Anpassung des Roboterverhaltens
Die kognitive Ebene erweitert den deterministischen Kern, indem sie Gefahren antizipiert, bevor sie auftreten.
Ziele von CogniSafe3D:
- Funktionale Sicherheit: Entwicklung und Validierung einer zertifizierbaren Sicherheitsarchitektur gemäß ISO 10218:2025 und ISO/TS 15066.
- Cybersicherheit: Entwicklung und Integration von Cybersicherheitsmechanismen gemäß ISA/IEC 62443, um einen sicheren und ausfallsicheren Betrieb vernetzter Robotersysteme in industriellen Umgebungen zu gewährleisten.
- Skalierbare Integration in ROS 2-basierte Robotersysteme.
Industrielle Auswirkungen
- Löst den Konflikt zwischen KI-gestützter Flexibilität und zertifizierbaren Sicherheitsanforderungen.
- Verringert unnötige Notstopps durch vorausschauende Risikobewertung
- Steigert die Produktivität in gemeinsam genutzten Arbeitsbereichen
- Umstellung von reaktiven Abschaltungen auf proaktive Gefahrenabwehr
Förderhinweis: Das Projekt CogniSafe3D (E! 6085) wird im Rahmen des Eureka-Eurostars-Programms vom deutschen Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) und dem italienischen Ministero dell’Università e della Ricerca (MUR) gefördert.
GRIZZLY
Ereignisbasierte Vision für präzises Recycling und Nachhaltigkeit .
GRIZZLY entwickelt ein sensorbasiertes Sortiersystem der nächsten Generation, das ereignisbasierte 3D-Objektverfolgung mit hyperspektraler Materialklassifizierung kombiniert. Das Projekt adressiert eine grundlegende Einschränkung aktueller Sortiersysteme: Objekte bewegen sich zwischen Erkennung und Trennung, was Präzision und Effizienz mindert.
Durch die Kombination einer zeilenbasierten Hyperspektralkamera zur Klassifizierung mit einem neuartigen ereignisbasierten Bildverarbeitungssystem zur Echtzeitverfolgung ermöglicht GRIZZLY eine präzise Trajektorienvorhersage und adaptive Aktorsteuerung . Das Ergebnis sind eine verbesserte Sortiergenauigkeit, ein höherer Durchsatz und ein reduzierter Energieverbrauch beim Recycling und der Materialverarbeitung.
Das Projekt wird vom Fraunhofer IOSB und der Proximity Robotics & Automation GmbH im Rahmen des DATIpilot-Programms (BMFTR) durchgeführt.
Technologische Innovation
- Ereignisbasierte Echtzeit-3D-Verfolgung von Objekten im Flug
- Fusion von hyperspektraler Klassifizierung und Bewegungsverfolgung
- Verzögerungsfreies Backtracking für präzise Aktuator-Zeitsteuerung
- Datenverarbeitung mit geringer Latenz und reduzierter Rechenlast
- Echtzeit-Überprüfung der Sortiergenauigkeit
Industrielle Relevanz
- Erhöhte Sortiergenauigkeit und Reinheit
- Höherer Durchsatz bei unterschiedlichen Transportgeschwindigkeiten
- Reduzierter Energieverbrauch der Trenneinheiten
- Verbesserte Handhabung von leichten und komplexen Materialien
- Skalierbare Integration in bestehende Sortiersysteme
Forschungsschwerpunkt
- Kalibrierung und Optimierung ereignisbasierter Kameras
- Entwicklung eines Echtzeit-Tracking-Algorithmus
- Sensorfusion unter industriellen Bedingungen (Staub, Vibrationen, Lichtveränderungen)
- Latenzanalyse über den gesamten Aktivierungsstack hinweg
- Demonstration der Überlegenheit gegenüber modernsten Systemen
Energiebewusste Humanoide
Drahtloses Laden während der Bewegung für energiebewusste humanoide Roboter
Humanoide Roboter entwickeln sich rasant zu einer bahnbrechenden Technologie in verschiedensten Anwendungsbereichen, darunter industrielle Fertigung, Logistik, Gesundheitswesen, Bildung und Servicerobotik. Mit zunehmender Autonomie dieser Systeme und ihrer Fähigkeit zu komplexen Ganzkörperbewegungen steigt auch ihre Abhängigkeit von fortschrittlichen Wahrnehmungsmodulen, integrierter KI und Aktorik mit mehreren Freiheitsgraden. Diese Entwicklung führt zu einem deutlich erhöhten und hochdynamischen Energieverbrauch. Die Gewährleistung eines kontinuierlichen Betriebs, die Minimierung von Ausfallzeiten und die Aufrechterhaltung der Energieeffizienz stellen daher grundlegende Herausforderungen für den praktischen Einsatz humanoider Roboter in realen Umgebungen wie intelligenten Fabriken, Lagerhallen und Krankenhäusern dar.
- pxEMS zur Energieprofilierung von Humanoiden
- Nachhaltige Robotik
- Parameteroptimierung mithilfe digitaler Zwillinge
- Roboteraufgabenoptimierung für WPT
- RL-basierte Lokomotionserzeugung mit Energiebeschränkungen
Wir legen den Schwerpunkt auf:
Ununterbrochener Betrieb für Humanoide
- Kontinuierliche Energieversorgung für Roboter : Ermöglicht den dauerhaften Betrieb humanoider Roboter ohne manuelle Batteriewechsel oder feste Dockingstationen.
- Kontinuierliches Energiemanagement : Umstellung von diskreten Ladezyklen auf fortlaufende, lernbasierte Energieoptimierung zur Minimierung von Ausfallzeiten.
- Gemeinsame Optimierung von Mobilität und Energieaufnahme : Ausgewogene Steuerung von Fortbewegungsstabilität, Aufgabenleistung und Energiegewinnung in einem einheitlichen Regelungsrahmen
Drahtlose Energieübertragung (WPT)
- Drahtlose Energieübertragung im MHz-Bereich (6,78 MHz) : Hochfrequente drahtlose Energieübertragung ermöglicht im Vergleich zu herkömmlichen Ansätzen im kHz-Bereich kompakte, leichte und hochleistungsfähige Ladesysteme.
- Reduzierte Größe und Gewicht der Ladehardware : Verzicht auf sperrige Ferritmaterialien, wodurch mechanisch robuste und humanoide Lademodule entstehen.
- Laden in Bewegung : Unterstützt drahtlose Energieübertragung beim Gehen, Stehen oder Ausführen von Tätigkeiten – ohne präzise Docking-Anforderungen.
Energiebewusste Steuerungsrichtlinien
- Lokomotionsanpassung basierend auf Reinforcement Learning: Nutzt Reinforcement Learning, um Gangart, Körperhaltung und Fußplatzierung anzupassen und so die Ladeeffizienz während der Bewegung zu verbessern.
- Lademodulbewusste Lokomotionsoptimierung : integriert die räumliche Verteilung der WPT-Sender direkt in die Lokomotionsstrategie und ermöglicht es Robotern so, hocheffiziente Bereiche auszunutzen.
- Energiebewusste Ladestrategien: Optimiert den Ladevorgang aus einer Steuerungsperspektive heraus, anstatt ihn als separates Subsystem zu behandeln.
Infrastrukturgestützte Energiesysteme
- Umgebungsintegrierte Ladeinfrastruktur: WPT-Sender werden in Fußböden und Arbeitsbereiche eingebettet, sodass während des normalen Betriebs opportunistische Energieauffüllung möglich ist.
- Nahtlose Energieintegration: richtet Infrastruktur und Roboterintelligenz aufeinander aus, um kooperative Energieökosysteme zu schaffen.
- Energie-Orchestrierung auf Infrastrukturebene: Koordiniert mehrere eingebettete WPT-Module, um die Ladekapazität dynamisch auf Basis der Roboterposition, des Bedarfs und der Aufgabenpriorität zuzuweisen.
Durch den Batteriewechsel wird die Laufzeit verlängert – die drahtlose Energieübertragung ermöglicht einen kontinuierlichen Betrieb.
Rüsten Sie Ihre humanoide Plattform auf unterbrechungsfreien, energieeffizienten Betrieb auf. Kontaktieren Sie uns, um die Möglichkeiten zu erkunden.
Auch für mobile Robotersysteme geeignet.
Robotic Touch
Affektive Berührung spielt eine entscheidende Rolle bei der Emotionsregulation, dem Stressabbau und der sozialen Bindung. Im Rehabilitationsbereich kann kontrollierte körperliche Interaktion die motorische Genesung und die sensorische Stimulation unterstützen. Obwohl KI die verbale und visuelle Interaktion deutlich verbessert hat, bleibt die Nachbildung sinnvoller körperlicher Interaktion eine große wissenschaftliche und technische Herausforderung.
Dieses Projekt untersucht, wie Roboter Berührungen vermitteln können, die als angenehm, menschenähnlich und emotional bedeutsam wahrgenommen werden – und dabei gleichzeitig präzise Kontrolle und Sicherheit gewährleisten.
Die Forschung baut auf kontrollierten Studien am Menschen auf, in denen das Streichverhalten von Robotern unter Verwendung eines 7-DoF-Roboterarms und validierter Versuchsprotokolle bewertet wurde.
Robotic Touch untersucht, ob Roboter menschenähnliche affektive Berührungen reproduzieren können und wie räumliche und zeitliche Bewegungseigenschaften die menschliche Wahrnehmung beeinflussen.
Weitere Einzelheiten finden Sie in unseren entsprechenden Veröffentlichungen:
- Y. Tang, T. Chand, I. Mamaev, B. Hein, and I. Croy, "Evaluation of the human-like robotic touch: A user study," in Proc. Int. Conf. Rehabil. Robot. (ICORR), 2025, pp. 1353–1360
- M. Eckstein, I. Mamaev, B. Ditzen, and U. Sailer, “Calming Effects of Touch in Human, Animal, and Robotic Interaction—Scientific State-of-the-Art and Technical Advances,” Frontiers in Psychiatry, vol. 11, 2020, doi: 10.3389/fpsyt.2020.555058
Aktuelle Veröffentlichungen
Wir tragen durch kontinuierliche Forschung, Entwicklung und Zusammenarbeit aktiv zur Weiterentwicklung der Robotik bei. Aufbauend auf den akademischen Wurzeln des Unternehmens und langjährigen internationalen Forschungspartnerschaften leisten wir regelmäßig Beiträge zur wissenschaftlichen Gemeinschaft, unter anderem durch Veröffentlichungen auf renommierten Veranstaltungen wie IROS, ICRA und CASE.
Unsere Arbeit umfasst ein breites Spektrum an Anwendungsgebieten, darunter klassische Regelungstechnik und KI-basierte Methoden wie Imitations- und Reinforcement-Learning, bimanuelle und duale Manipulation, Kollisionsvermeidung und robotische Wahrnehmung mithilfe von RGB-(D)-Kameras, 3D-LiDARs, ereignisbasierten Kameras und kapazitiven Sensoren. Wir wenden diese Methoden auf mobile Plattformen, Manipulatoren und humanoide Roboter an, wobei ein besonderer Fokus auf sicherheitsrelevanter Forschung wie der proaktiven Gefahrenvorhersage, der dynamischen Risikobewertung und verwandten Themen liegt.
Durch die Teilnahme an Forschungs- und Lehrtätigkeiten halten wir unser Technologieportfolio auf dem neuesten Stand und übertragen Erfahrungen aus internationalen F&E- und Innovationsprojekten in die Praxis.
Veröffentlichungsliste:
2026
- F. Plahl, G. Katranis, K. Alba, F. Wolny, S. Vock, A. Morozov and I. Mamaev, "OmniABiD: Evaluating Sim2Real Transferability in Safety and Risk Monitoring of Human-Robot Collaboration using NVIDIA Omniverse," in Proc. 17th Eur. Rob. Forum (ERF), 2026, to appear.
2025
- Y. Ma, Z. Jin, Q. Liu, I. Mamaev, and A. Morozov, "Deep Learning-based Proactive Hazard Prediction for Human-Robot Collaboration with Sensor Malfunctions," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2025.
- F. Plahl, G. Katranis, I. Mamaev, and A. Morozov, "LiHRA: A LiDAR-based HRI dataset for automated risk monitoring methods," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2025.
- Y. Tang, X. Huang, Y. Zhang, T. Chen, I. Mamaev, and B. Hein, "ETA-IK: Execution-time-aware inverse kinematics for dual-arm systems," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2025.
- Y. Tang, T. Chen, B. Hein, and I. Mamaev, "Improving feasibility and safety of nonlinear MPC with control barrier function via learning-based non-convex reachable sets," in Proc. IEEE 21st Int. Conf. Autom. Sci. Eng. (CASE), 2025.
- M. Ruhe, K. Alba, M. Kipfmueller, and I. Mamaev, "Simulation-to-reality hyperparameter optimization of MPPI controllers via Bayesian optimization in NVIDIA Omniverse Isaac Sim," in Proc. IEEE 21st Int. Conf. Autom. Sci. Eng. (CASE), 2025.
- Y. Tang, T. Chand, I. Mamaev, B. Hein, and I. Croy, "Evaluation of the human-like robotic touch: A user study," in Proc. Int. Conf. Rehabil. Robot. (ICORR), 2025, pp. 1353–1360.
- G. Katranis, F. Plahl, J. Grimstadt, I. Mamaev, S. Vock, and A. Morozov, "Dynamic risk assessment for human-robot collaboration using a heuristics-based approach," in Proc. 35th Eur. Saf. Reliab. Conf. (ESREL), 2025, pp. 1830–1837.
2024
- Y. Ma, J. Liu, I. Mamaev, and A. Morozov, "Multimodal failure prediction for vision-based manipulation tasks with camera faults," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2024.
- A. Zachariae, F. Plahl, Y. Tang, I. Mamaev, B. Hein, and C. Wurll, "Human-robot interactions in autonomous hospital transports," Robot. Auton. Syst., vol. 179, p. 104755, 2024.
- Y. Tang, I. Mamaev, and B. Hein, "Enhancing logistics automation: Integrating capacitive proximity and tactile sensors for trolley pose and center of mass estimation," in Proc. IEEE 20th Int. Conf. Autom. Sci. Eng. (CASE), 2024.
2023
- Y. Tang, I. Mamaev, J. Qin, C. Wurll, and B. Hein, "Reachability-aware collision avoidance for tractor-trailer system with non-linear MPC and control barrier function," in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), 2023.
- A. A. Attar, T. Fabarisov, A. Morozov, M. Artelt, and I. Mamaev, "Hybrid lightweight deep learning-based error detection model on edge computing devices," in Proc. IEEE 28th Int. Conf. Emerg. Technol. Fact. Autom. (ETFA), 2023, pp. 1–4.
- Y. Tang, W. Shen, I. Mamaev, and B. Hein, "Towards flexible manufacturing: Motion generation concept for coupled multi-robot systems," in Proc. IEEE 19th Int. Conf. Autom. Sci. Eng. (CASE), 2023.
- M. Käppler, I. Mamaev, H. Alagi, T. Stein, and B. Deml, "Optimizing human-robot handovers: The impact of adaptive transport methods," Front. Robot. AI, vol. 10, p. 1155143, 2023.
2022
- T. Fabarisov, A. Morozov, I. Mamaev, and P. Grimmeisen, "Fidget: Deep learning-based fault injection framework for safety analysis and intelligent generation of labeled training data," in Proc. IEEE 27th Int. Conf. Emerg. Technol. Fact. Autom. (ETFA), 2022, pp. 1–6.
- Z. Gyenes, I. Mamaev, D. Yang, E. G. Szádeczky-Kardoss, and B. Hein, "Motion planning for mobile robots using the human tracking velocity obstacles method," in Proc. Int. Conf. Inform. Control Autom. Robot. (ICINCO), 2022, pp. 484–491.
- X. Ye, W. Shen, I. Mamaev, T. Bertram, M. Bryg, M. Schwartz, S. Hohmann, T. Asfour, B. Hein, M. Kipfmueller, J. Kotschenreuther, "Multi-level optimization approach for multi-robot manufacturing systems," in Proc. 54th Int. Symp. Robot. (ISR Europe), 2022, pp. 1–8.
2021
- T. Fabarisov, A. Morozov, I. Mamaev, and K. Janschek, "Deep learning-based error mitigation for assistive exoskeleton with computational-resource-limited platform and edge tensor processing unit," in Proc. ASME Int. Mech. Eng. Congr. Expo. (IMECE), 2021.
- Y. Tang, I. Mamaev, H. Alagi, B. Abel, and B. Hein, "Collision avoidance for mobile robots using proximity sensors," in Interactive Collaborative Robotics (ICR), 2021, pp. 205–221.
- I. Mamaev, D. Kretsch, H. Alagi, and B. Hein, "Grasp detection for robot to human handovers using capacitive sensors," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), 2021, pp. 12552–12558.
2020
- M. Eckstein, I. Mamaev, B. Ditzen, and U. Sailer, “Calming Effects of Touch in Human, Animal, and Robotic Interaction—Scientific State-of-the-Art and Technical Advances,” Frontiers in Psychiatry, vol. 11, 2020, Art. 555058, doi:10.3389/fpsyt.2020.555058
- T. Fabarisov, I. Mamaev, A. Morozov, and K. Janschek, “Model-based Fault Injection Experiments for the Safety Analysis of Exoskeleton System,” in 30th European Safety and Reliability Conference (ESREL 2020), 2020.
- Suchen Sie einen KMU-Forschungspartner? Kontaktieren Sie uns.