Time of Flight – 3D Gesture Recognition

Use Cases – Hands-free Operation

ToF Gesture Sensor

Automotive-konformer Gestensensor

Embedded AI entwickelt einen eigenen Automotive-konformen optischen Sensor auf dem Prinzip des Time of Flight (ToF) im Infrarot-Lichtbereich. Die Hauptaufgabe des Sensors ist die Erkennung von Hand- und Fuß-Gesten zur Öffnung von Autotüren, zur Steuerung von Automotive-HMI, oder der Hands-free Steuerung (Infektionsschutz) von Terminals oder anderen Objekten. Er kann außerdem zur Akquise von 3D-Daten sowie zur Messung von Entfernungen und geometrischen Strukturen von Objekten eingesetzt werden. 

Der ToF-Sensor kann sowohl im Innen- als auch im Außenbereich von Fahrzeugen sowie auch außerhalb des automotiven Umfelds eingesetzt werden.

ToF-Messprinzip

Das ToF-Messprinzip ist in der Lage Lichtlaufzeiten zu vermessen und daraus Distanzen zu berechnen. Dafür wird die Szene mittels eines Infrarot-Lichtpulses ausgeleuchtet und das an Objekten reflektierte Licht mit einem speziell für diese Applikation hergestellten IR-ToF-Kamera-Chip empfangen. Über die Laufzeit des Lichts, welche proportional zur Distanz ist, können somit für jedes Pixel Entfernungen bestimmt werden. Der ToF-Sensor ist damit in der Lage neben den 2D- auch 3D-Kamerabilder zu generieren.

ToF-Chip mit minimalem Energieverbrauch

Der Kern des Sensors ist ein, für den Automotive-Einsatz entwickelter und zertifizierter ToF-Chip, welcher für Low-Cost-Anwendungen optimiert ist. Der Kamera-Chip arbeitet nach dem ToF-Prinzip der Pulsed-Light-Modulation und besitzt eine geringe Auflösung von 32×32 Pixel, sodass sich ein ebenso gering aufgelöstes 3D-Bild ergibt. Die 32×32 Pixelmatrix ermöglicht einen geringen Energieverbrauch sowie geringe Systemkosten aufgrund wenig benötigter Rechenkapazitäten.

Alles aus einer Hand – Embedded AI entwickelt …

  • AI Algorithmen der 3D-Gestenerkennung
    • Modellierung/Simulation Matlab/Python
    • Echtzeit in C++ (vgl. Embedded Software)
    • Data Engineering
  • Elektronikentwicklung (PCB)
  • Auswahl Mikrocontroller (MCU)
  • Embedded Software
    • Hardware Abstraction Layer (HAL)
    • Function Layer
    • Application Layer mit AI-Algorithmen für 3D-Gestenerkennung
    • Systemsoftware, Diagnosesoftware
  • Optisches Frontend
    • Evaluation und Auswahl Sendediode (Hochleistungs VCSEL-Diode)
    • Sendeoptik in VCSEL-Diode integriert
    • Empfangsoptik mit Partnern
  • Gehäusedesign

Einsatzbereiche im Fahrzeug

Innenbereich

HMI und Car-Infotainmentsystem

Das folgende Video zeigt die gestenbasiert Steuerung eines Car-Infotainment-Systems (CIS) auf Basis des ToF-Gestensensors von Embedded AI. Für den Demonstrator wurde die Einbauposition unterhalb des Displays gewählt. Andere Verbaupositionen des Sensors sind ebenfalls möglich.

Außenbereich

Neben dem Einsatz im Fahrzeuginnenraum kann der Sensor auch für Funktionen um Außenbereich des Fahrzeugs eingesetzt werden. Montiert am Fahrzeugheck fungiert er als Trunk Opener und ermöglicht eine Öffnung des Kofferraums per Fußgeste. An der Seite (B-Säule) eröffnet sich ein völlig neuartiges Bedienfeld per Handgeste.

Trunk Opener

Im Gegensatz zu herkömmlichen Lösungen, welche auf kapazitiven Sensoren basieren, bietet sich mit dem ToF-Gestensensor der Vorteil, dass der Bedienbereich hinter das Fahrzeug gelegt wird und die Nutzer die Geste nicht auf einem Bein stehend ausführen müssen. Der Aktionsbereich wird dem Nutzer über ein Spotlight signalisiert.
Durch einen Schritt auf das Spotlight und anschließendem Entfernen des Fußes aus dem Aktionsbereich, wird die Geste durchgeführt.
Durch das neuartige Bedienkonzept in Kombination mit den genauen Messeigenschaften der ToF-Technologie kann eine sehr robuste und sichere Gestenbedienung gewährleistet werden.

B-Säule

Durch den Verbau des Sensors in der B-Säule ergeben sich neue Bedienmöglichkeiten im Außenbereich des Fahrzeugs. Es ist somit nicht nur möglich das Fahrzeug per Geste zu entriegeln sowie Türen zu öffnen, sondern es ergeben sich vielfältige Bedienmöglichkeiten. Beispielsweise kann über das Gesteninterface an der B-Säule der Vorgang des elektrischen Ladens gesteuert werden. Weitere Anwendungsfälle sind denkbar.

Das folgende Video zeigt den Einsatz des ToF-Gestensensors als Trunk Opener sowie als Bedienschnittstelle in der B-Säule.

Interesse?

Wir hoffen, dass wir einen kleinen Einblick geben konnten. Falls Du Interesse hast, Dir Demos oder Live-Anwendungen anzusehen, nimm gern Kontakt mit uns auf.

  • E-Mail: po[at]embedded.ai
  • Telefon: +49 351 6533 3808