Time of Flight 3D-Gestenerkennung

Use Cases – Hands-free Operation

ToF-Gestiksensor

Automotive-konformer Gestensensor

Embedded AI entwickelt einen eigenen automotive-konformen optischen Sensor auf dem Prinzip des Time of Flight (ToF) im Infrarot-Lichtbereich. Die Hauptaufgabe des Sensors ist die Erkennung von Hand- und Fußgesten zum Öffnen von Autotüren, zur Steuerung von Automotive-HMI, oder der Hands-free Steuerung (Infektionsschutz) von Terminals oder anderen Objekten. Er kann auch zur Erfassung von 3D-Daten sowie zur Messung von Entfernungen und geometrischen Strukturen von Objekten eingesetzt werden. 

Der ToF-Sensor kann sowohl im Innen- als auch im Außenbereich von Fahrzeugen eingesetzt werden. Ein Einsatz außerhalb des automobilen Umfelds ist problemlos möglich.

ToF-Messprinzip

Das ToF-Messprinzip ist in der Lage Lichtlaufzeiten zu vermessen und daraus Distanzen zu berechnen. Dafür wird die Szene mittels eines Infrarot-Lichtpulses ausgeleuchtet und das an Objekten reflektierte Licht mit einem speziell für diese Applikation hergestellten IR-ToF-Kamera-Chip empfangen. Über die Laufzeit des Lichts, welche proportional zur Distanz ist, können somit für jedes Pixel Entfernungen bestimmt werden. Der ToF-Sensor ist damit in der Lage neben den 2D- auch 3D-Kamerabilder zu generieren.

ToF-Chip mit minimalem Energieverbrauch

Der Kern des Sensors ist ein, für den Automotive-Einsatz entwickelter und zertifizierter ToF-Chip, welcher für Low-Cost-Anwendungen optimiert ist. Der Kamera-Chip arbeitet nach dem ToF-Prinzip der Pulsed-Light-Modulation und besitzt eine geringe Auflösung von 32×32 Pixel, sodass sich ein ebenso gering aufgelöstes 3D-Bild ergibt. Die 32×32 Pixelmatrix ermöglicht einen geringen Energieverbrauch sowie geringe Systemkosten aufgrund wenig benötigter Rechenkapazitäten.

Alles aus einer Hand – Embedded AI entwickelt:

  • AI-Algorithmen der 3D-Gestenerkennung
    • Modellierung/Simulation Matlab/Python
    • Echtzeit in C++ (vgl. Embedded Software)
    • Data Engineering
  • Elektronikentwicklung (PCB)
  • Auswahl Mikrocontroller (MCU)
  • Embedded Software
    • Hardware Abstraction Layer (HAL)
    • Function Layer
    • Application Layer mit AI-Algorithmen für 3D-Gestenerkennung
    • Systemsoftware, Diagnosesoftware
  • Optisches Frontend
    • Evaluation und Auswahl Sendediode (Hochleistungs VCSEL-Diode)
    • Sendeoptik in VCSEL-Diode integriert
    • Empfangsoptik mit Partnern
  • Gehäusedesign

Einsatzbereiche im Fahrzeug

Einsatz im Innenbereich

HMI und Car-Infotainmentsystem

Das Video zeigt die gestenbasierte Steuerung eines Car-Infotainment-Systems (CIS) auf Basis des ToF-Gestensensors von Embedded AI. Für den Demonstrator wurde die Einbauposition unterhalb des Displays gewählt. Andere Verbaupositionen des Sensors sind möglich.

Einsatz im Außenbereich

Neben dem Einsatz im Fahrzeuginnenraum kann der Sensor auch für Funktionen im Außenbereich des Fahrzeugs eingesetzt werden. Montiert am Fahrzeugheck fungiert er als Trunk Opener und ermöglicht ein Öffnen des Kofferraums per Fußgeste. An der Seite (B-Säule) eröffnet sich ein völlig neuartiges Bedienfeld per Handgeste.

Trunk Opener

Im Gegensatz zu herkömmlichen Lösungen, die auf kapazitiven Sensoren basieren, bietet der ToF-Gestsensor den Vorteil, dass der Bedienbereich hinter dem Fahrzeug liegt und die Nutzer die Geste nicht auf einem Bein stehend ausführen müssen. Der Aktionsbereich wird dem Nutzer über ein Spotlight signalisiert.
Durch einen Schritt auf das Spotlight und das anschließende Entfernen des Fußes aus dem Aktionsbereich, wird die Geste ausgeführt.
Durch das neuartige Bedienkonzept in Kombination mit den genauen Messeigenschaften der ToF-Technologie kann eine sehr robuste und sichere Gestenbedienung gewährleistet werden.

B-Säule

Durch den Verbau des Sensors in der B-Säule ergeben sich neue Bedienmöglichkeiten im Außenbereich des Fahrzeugs. Es ist somit nicht nur möglich das Fahrzeug per Geste zu entriegeln sowie Türen zu öffnen, sondern es ergeben sich vielfältige Bedienmöglichkeiten. Beispielsweise kann über das Gesteninterface an der B-Säule der Vorgang des elektrischen Ladens gesteuert werden. Weitere Anwendungsfälle sind denkbar.

Das Video zeigt, wie der ToF Gestensensor als Trunk Opener und als Bedienoberfläche in der B-Säule eingesetzt wird.

Das klingt interessant?

Wenn Sie Interesse haben, Demos oder Live-Anwendungen kennenzulernen, nehmen Sie gern Kontakt mit uns auf.

  • E-Mail: po[at]embedded.ai
  • Telefon: +49 351 6533 3808