Head & Gaze Tracker für E-Bikes

Problemstellung
Die Schnittstelle zwischen Mensch und E-Bikes ist noch sehr wenig erforscht. Deshalb soll im Auftrag des iHomeLab der Hochschule Luzern ein Prototypensystem entwickelt werden, welches die Blickrichtung des Velofahrers während der Fahrt erkennen und wiedergeben kann. Das System soll am Fahrrad befestigt werden können und möglichst kostengünstig sein. Es sollen 8 verschiedene Blickrichtungen des Fahrers unterschieden werden: Links, rechts, geradeaus, stark links, stark rechts, Lenker links, Lenker Mitte und Lenker rechts.

Lösungskonzept
Für dieses Projekt wurde als Hardware ein Smartphone vorgesehen. Dieses ist viel kompakter als beispielsweise ein Raspberry Pi (bei welchem noch zusätzlich eine Kamera, sowie ein Akku angeschlossen werden müssten). Zudem kann die Software ganz einfach für neuere Handygenerationen (welche z.B. Time of Flight Kameras besitzen) erweitert werden. Für das Smartphone sollte eine App entwickelt werden, welche den Fahrer während der Fahrt mit der Frontkamera aufnimmt. Die Kameraframes werden ausgewertet und wieder auf dem Display ausgegeben. Aus den Positionen von Gesicht, Nase, Mund und Klebeband am Helm soll dann eine Gaze Estimation gemacht werden. Als Software für die Bildverarbeitung wird die freie Programmierbibliothek OpenCV verwendet.

Realisierung
Die Android App wurde mit dem Android Studio erstellt. Gesicht, Nase und Klebeband am Helm werden jeweils über die Farbe erkannt. Für die Detektion des Mundes wird ein Haarcascade Classifier eingesetzt. Dieser versucht jeweils einen Mund im Frame zu finden. Aus der Position von Nase und Mund im Gesicht wird eine Estimation der Blickrichtung gemacht.

Ergebnisse
Die erstellte App kann die Blickrichtung des Fahrers in Echtzeit erkennen und auf dem Display darstellen. Dabei werden Frameraten von ca. 10fps erreicht. Niedrige Helligkeiten bei schlechtem Wetter bereiten dem Algorithmus sehr grosse Mühe, da dort das Gesicht sehr dunkel ist und daher die Farben nicht mehr richtig erkannt werden können. Ausserdem wird der Mund oft nicht erkannt. Bei guten Wetterbedingungen mit viel Sonne funktioniert die Erkennung von Gesicht, Nase und Klebeband am Helm zuverlässig und auch das Tragen einer Sonnenbrille behindert die Detektionen nicht. Bei Bildern, in welchen das Gesicht erkannt wurde erreicht die Gaze Estimation eine Genauigkeit von 83.5%.

Studienbetreuer Dr. Patric Eberle
Preisstifter Hochschule Luzern, Institut für Elektrotechnik, iHomeLab