Eye-Tracking gehört zu den wichtigsten Technologien für zukünftige Smartglasses. Die Brille kann dadurch erkennen, wohin du schaust, welche Inhalte deine Aufmerksamkeit erhalten oder ob du durch ein bewusstes Blinzeln eine Funktion auslösen möchtest. Bisher werden dafür meist kleine Kameras eingesetzt, die das Auge kontinuierlich filmen.
Ein Forschungssystem namens ElectraSight zeigt jedoch, dass sich grundlegende Augenbewegungen auch ohne klassische Augenkamera erfassen lassen. Statt Bildaufnahmen verwendet die Technik elektrische Sensoren im Brillenrahmen. Die Daten können mit einem kleinen und stromsparenden KI-Modell direkt auf der Brille ausgewertet werden.
Das könnte Smartglasses leichter, sparsamer und möglicherweise datenschutzfreundlicher machen. Vollständig unproblematisch sind Blickdaten allerdings auch ohne Kamera nicht.
Warum Smartglasses deine Augenbewegungen erfassen
Bei herkömmlichen Computern steuerst du Programme mit Maus, Tastatur oder Touchscreen. Bei Smartglasses stehen diese Eingabemöglichkeiten nur eingeschränkt zur Verfügung. Sprachbefehle sind nicht in jeder Situation geeignet, während Gesten auffällig oder unpraktisch sein können.
Die Blickrichtung bietet deshalb eine natürliche Steuerungsmöglichkeit. Eine Brille könnte beispielsweise erkennen, welches Menüelement du ansiehst. Eine zusätzliche Bewegung oder ein bewusstes Blinzeln könnte anschließend eine Auswahl bestätigen.
Eye-Tracking kann außerdem für weitere Funktionen genutzt werden:
- Steuerung von Menüs und Anwendungen
- Auswahl virtueller Objekte
- Erkennung von Aufmerksamkeit
- Anpassung eingeblendeter Informationen
- barrierefreie Bedienung
- Erkennung von Müdigkeit
- Reduzierung des Energieverbrauchs von Displays
Besonders bei Augmented-Reality-Brillen ist präzises Eye-Tracking wichtig. Hochwertige Systeme können beispielsweise nur den Bereich besonders scharf berechnen, auf den der Nutzer gerade blickt. Randbereiche werden mit geringerer Auflösung dargestellt. Dieses Verfahren wird als foveiertes Rendering bezeichnet und kann Rechenleistung sparen.
Wie klassisches Eye-Tracking funktioniert
Die meisten aktuellen Eye-Tracking-Systeme verwenden kleine Infrarotkameras. Diese beobachten Pupille, Iris und Lichtreflexionen auf der Hornhaut. Aus den Bilddaten berechnet eine Software anschließend die Blickrichtung.
Das Verfahren kann sehr genau arbeiten. Gleichzeitig benötigt es jedoch Kameras, Beleuchtung, Bildsensoren und vergleichsweise aufwendige Rechenprozesse. Dadurch steigen Platzbedarf, Stromverbrauch und technische Komplexität.
Auch aus Datenschutzsicht entstehen Fragen. Eine nach innen gerichtete Kamera erfasst zwar normalerweise nicht die Umgebung, produziert aber fortlaufend Bilder des Auges. Darauf können Iris, Pupille und weitere individuelle Merkmale sichtbar sein.
Die Rohbilder müssen nicht zwangsläufig gespeichert werden. Dennoch entstehen besonders informationsreiche Daten, die bei unsicherer Verarbeitung, fehlerhaften Berechtigungen oder einer Übertragung an externe Server missbraucht werden könnten.
ElectraSight erfasst elektrische Veränderungen am Auge
ElectraSight verfolgt einen anderen Ansatz. Das von Forschern der ETH Zürich entwickelte System arbeitet ohne klassische Augenkamera. Es nutzt stattdessen die natürlichen elektrischen Eigenschaften des menschlichen Auges.
Zwischen Vorder- und Rückseite des Auges besteht eine schwache elektrische Potenzialdifferenz. Vereinfacht gesagt verhält sich das Auge wie ein kleiner elektrischer Dipol. Bewegt sich das Auge, verändert sich auch das elektrische Feld in seiner Umgebung.
Diese Veränderungen lassen sich mit Elektroden messen. Das zugrunde liegende Verfahren wird als Elektrookulografie, kurz EOG, bezeichnet. Es wird bereits seit längerer Zeit in der Forschung und teilweise auch in medizinischen Anwendungen eingesetzt.
Klassische EOG-Systeme benötigen normalerweise Elektroden, die direkt auf die Haut rund um die Augen geklebt werden. Für eine alltagstaugliche Brille wäre das unpraktisch.
ElectraSight integriert die Sensoren deshalb direkt in den Brillenrahmen.
Kontaktlose Sensoren im Brillenrahmen
Das Forschungssystem verwendet insgesamt fünf Messkanäle. Drei davon arbeiten kontaktlos. Kleine Kupferelektroden befinden sich im Brillenrahmen in der Nähe der Augen, ohne die Haut direkt berühren zu müssen.
Zwei weitere Sensoren nutzen Stellen, an denen eine gewöhnliche Brille ohnehin Kontakt zum Gesicht hat. Dazu gehören unter anderem die Nasenauflage und Bereiche an den Schläfen.
ElectraSight ist damit streng genommen kein vollständig kontaktloses System. Die besten Ergebnisse entstehen durch die Kombination aus kontaktlosen Sensoren und Elektroden an den normalen Auflagepunkten der Brille.
Der entscheidende Unterschied zu herkömmlichen Elektrookulografie-Systemen besteht darin, dass keine zusätzlichen Klebeelektroden rund um das Auge notwendig sind. Die Messtechnik kann weitgehend unsichtbar in ein gewöhnliches Brillengestell integriert werden.
Welche Augenbewegungen ElectraSight erkennt
ElectraSight bestimmt bislang keinen dauerhaft präzisen Blickpunkt. Das System erkennt stattdessen bestimmte Bewegungsklassen.
In der Untersuchung wurden zehn Zustände unterschieden:
- Blick nach oben
- Blick nach unten
- Blick nach links
- Blick nach rechts
- Blick nach links oben
- Blick nach rechts oben
- Blick nach links unten
- Blick nach rechts unten
- Blick geradeaus
- Blinzeln
Bei dieser Einteilung erreichte das System eine Erkennungsgenauigkeit von rund 81 Prozent.
In einer vereinfachten Variante wurden die vier diagonalen Richtungen entfernt. Das System unterschied dann nur noch zwischen oben, unten, links, rechts, geradeaus und Blinzeln. Mit diesen sechs Klassen stieg die Genauigkeit auf rund 92 Prozent.
Die Ergebnisse zeigen, dass sich grundlegende Augenbewegungen zuverlässig erkennen lassen. Für eine einfache Steuerung von Menüs oder das Auslösen bestimmter Befehle könnte das bereits ausreichen.
Mit dem hochpräzisen Eye-Tracking moderner Virtual-Reality- oder Augmented-Reality-Headsets ist die Technik jedoch noch nicht direkt vergleichbar. Solche Systeme berechnen häufig einen kontinuierlichen Blickwinkel oder einen exakten Punkt innerhalb eines Displays.
Kleine KI wertet die Signale direkt auf der Brille aus
Die Sensoren allein können noch nicht zuverlässig erkennen, welche Augenbewegung ausgeführt wurde. Die gemessenen elektrischen Veränderungen müssen zunächst analysiert und bestimmten Bewegungen zugeordnet werden.
Dafür verwendet ElectraSight ein kleines neuronales Netz. Das Modell gehört zum Bereich TinyML. Damit sind besonders kompakte KI-Systeme gemeint, die auf Mikrocontrollern und anderen Geräten mit sehr begrenztem Speicher und Energieverbrauch laufen können.
Das verwendete Modell ist nur etwa 79 Kilobyte groß. Es verarbeitet kurze Abschnitte der Sensorsignale und ordnet sie anschließend einer Bewegungsklasse zu.
Die eigentliche Berechnung benötigt laut Studie nur wenige Hundert Mikrosekunden. Der größte Teil der Reaktionszeit entsteht dadurch, dass zunächst ein ausreichend langes Messfenster gesammelt werden muss.
Eine leistungsfähige Cloud-Verbindung ist für die Auswertung nicht notwendig. Die Erkennung kann vollständig auf der Brille stattfinden.
Geringer Stromverbrauch als wichtiger Vorteil
Der Stromverbrauch ist bei Smartglasses besonders entscheidend. Im schmalen Brillenrahmen steht nur wenig Platz für Akkus zur Verfügung. Kameras, Displays, Funkverbindungen und KI-Berechnungen können die Laufzeit schnell verkürzen.
ElectraSight benötigt für die Sensorerfassung und lokale Verarbeitung nach Angaben der Forscher weniger als neun Milliwatt. Mit einem kleinen Akku errechneten sie eine mögliche Laufzeit von mehreren Tagen.
Dabei handelt es sich allerdings nur um den Energiebedarf des Eye-Tracking-Systems. Eine vollständige Smartglass mit Display, Lautsprechern, Funkverbindung und weiteren Sensoren würde insgesamt deutlich mehr Strom verbrauchen.
Trotzdem kann ein sparsames Eye-Tracking die Akkulaufzeit verbessern. Die Technik könnte außerdem verwendet werden, um andere Komponenten nur bei Bedarf zu aktivieren. Erkennt die Brille beispielsweise, dass du ein Display ansiehst, könnte sie dessen Helligkeit erhöhen. Blickst du weg, könnte sie einzelne Funktionen wieder reduzieren.
Warum Eye-Tracking ohne Kamera datenschutzfreundlicher sein kann
Der größte Datenschutzvorteil liegt im Verzicht auf fortlaufende Bildaufnahmen des Auges. ElectraSight produziert keine Videos, auf denen Iris, Pupille oder weitere erkennbare Augenmerkmale zu sehen sind.
Stattdessen entstehen elektrische Messreihen. Diese Daten sind zunächst abstrakter als Kamerabilder und enthalten weniger unmittelbar sichtbare persönliche Informationen.
Zusätzlich kann die Auswertung lokal erfolgen. Ein datensparsames System müsste nicht die vollständigen Rohsignale an ein Smartphone oder einen Cloudserver übertragen. Die Brille könnte lediglich ein einfaches Ergebnis weitergeben, etwa:
- Blick nach links
- Blick nach oben
- bewusstes Blinzeln
- keine erkannte Bewegung
Dadurch würde eine Anwendung nur die Information erhalten, die sie für die jeweilige Funktion tatsächlich benötigt.
Für eine Menüauswahl muss eine App beispielsweise nicht den vollständigen Blickverlauf kennen. Es könnte genügen, wenn die Brille eine einzelne Bewegungsrichtung übermittelt.
Dieser Ansatz folgt dem Prinzip der Datenminimierung: Statt möglichst viele Daten zu sammeln, verarbeitet das Gerät nur die Informationen, die für eine bestimmte Aufgabe erforderlich sind.
Ohne Kamera bedeutet nicht ohne sensible Daten
Kamerafreies Eye-Tracking ist nicht automatisch anonym oder vollständig datenschutzsicher. Auch Augenbewegungen können sensible Informationen enthalten.
Längere Blickverläufe können unter anderem zeigen:
- welche Inhalte besonders viel Aufmerksamkeit erhalten
- wie lange eine Person bestimmte Objekte betrachtet
- ob sie müde oder unkonzentriert ist
- wie schnell sie Informationen verarbeitet
- welche Produkte oder Anzeigen sie interessant findet
- wie sie auf bestimmte Bilder oder Situationen reagiert
Je nach Genauigkeit und Dauer der Messung können Blickmuster außerdem individuelle Eigenschaften aufweisen. In wissenschaftlichen Untersuchungen wurden Eye-Tracking-Daten unter anderem auf Möglichkeiten zur Wiedererkennung von Personen oder zur Ableitung bestimmter körperlicher und kognitiver Zustände untersucht.
Elektrische Augenmessungen können ebenfalls gesundheitlich relevante Informationen enthalten. Ungewöhnliche Bewegungen, Blinkmuster oder Reaktionen könnten möglicherweise Hinweise auf Müdigkeit, neurologische Auffälligkeiten oder andere Zustände liefern.
Solche Anwendungen können medizinisch nützlich sein. Gleichzeitig würden dadurch besonders schützenswerte Daten entstehen.
Lokale Verarbeitung muss technisch vorgeschrieben sein
ElectraSight zeigt, dass eine lokale Auswertung möglich ist. Ob ein späteres Produkt diese Möglichkeit tatsächlich datenschutzfreundlich nutzt, hängt jedoch vom Hersteller ab.
Eine Brille könnte die Sensorsignale trotz lokaler Rechenleistung vollständig speichern oder an externe Server übertragen. Auch eine dauerhafte Aufzeichnung des Blickverhaltens wäre technisch denkbar.
Datenschutzfreundliches Eye-Tracking müsste deshalb mehrere Bedingungen erfüllen:
Rohdaten bleiben auf dem Gerät
Die vollständigen elektrischen Messsignale sollten die Brille grundsätzlich nicht verlassen. Anwendungen erhalten nur bereits ausgewertete Bewegungsereignisse.
Keine dauerhafte Speicherung
Blickbewegungen sollten nur kurzfristig verarbeitet und anschließend verworfen werden. Eine dauerhafte Historie wäre für die reine Gerätesteuerung normalerweise nicht erforderlich.
Apps erhalten begrenzte Berechtigungen
Eine App zur Menüsteuerung benötigt keinen Zugriff auf sämtliche Blickdaten. Betriebssysteme könnten Berechtigungen ähnlich wie bei Mikrofon, Standort und Kamera verwalten.
Nutzer können Eye-Tracking abschalten
Die Funktion sollte jederzeit vollständig deaktiviert werden können. Eine sichtbare Anzeige könnte außerdem zeigen, wann die Sensoren aktiv sind.
Keine Nutzung für Werbeprofile
Blickdaten könnten für Werbung besonders wertvoll sein, da sie nicht nur zeigen, was auf einem Bildschirm erschien, sondern auch, was tatsächlich betrachtet wurde. Eine automatische Nutzung für personalisierte Werbung wäre deshalb besonders kritisch.
Klare Trennung verschiedener Anwendungen
Daten für die Gerätesteuerung sollten nicht automatisch für Analysen, Gesundheitsfunktionen oder Marketing verwendet werden. Jede zusätzliche Nutzung benötigt eine eigene und verständliche Zustimmung.
Die Umgebungskamera bleibt ein eigenes Problem
Kamerafreies Eye-Tracking bedeutet nicht zwangsläufig, dass eine Smartglass vollständig ohne Kamera auskommt.
Viele Brillen benötigen weiterhin eine nach außen gerichtete Kamera, um ihre Umgebung zu erfassen. Nur dadurch kann das System Objekte erkennen, Texte übersetzen, Navigationshinweise platzieren oder virtuelle Inhalte an realen Positionen anzeigen.
ElectraSight ersetzt lediglich die Kamera, die zur Beobachtung der Augen verwendet wird. Eine Umgebungskamera kann weiterhin vorhanden sein.
Für den Datenschutz sind beide Bereiche getrennt zu betrachten. Eine Brille könnte beim Eye-Tracking sehr datensparsam arbeiten, gleichzeitig aber kontinuierlich Bilder ihrer Umgebung erfassen.
Umgekehrt wären auch einfache Display- oder Audio-Smartglasses denkbar, die weder eine Augen- noch eine Umgebungskamera benötigen. Bei solchen Geräten könnte ElectraSight eine unauffällige Steuerung ermöglichen, ohne dass überhaupt Bildsensoren verbaut werden müssen.
Mögliche Einsatzbereiche für ElectraSight
Die Technik eignet sich besonders für Anwendungen, bei denen grobe Augenbewegungen ausreichen.
Einfache Steuerung von Smartglasses
Ein Blick nach links oder rechts könnte durch Menüs navigieren. Ein bewusstes Blinzeln könnte eine Auswahl bestätigen.
Barrierefreie Bedienung
Menschen mit eingeschränkter Bewegungsfähigkeit könnten Geräte über Augenbewegungen steuern. Dafür müsste das System allerdings individuell geprüft und weiterentwickelt werden.
Müdigkeitserkennung
Veränderte Blinkmuster oder langsamere Augenbewegungen könnten auf Müdigkeit hinweisen. Eine Brille könnte beispielsweise bei langen Autofahrten oder bestimmten Arbeiten warnen. Für sicherheitskritische Anwendungen wären jedoch deutlich umfangreichere Untersuchungen erforderlich.
Energiesparende Aktivierung
Die Brille könnte erkennen, ob der Nutzer ein Display betrachtet. Rechenintensive Funktionen würden dann nur bei tatsächlicher Aufmerksamkeit aktiviert.
Unauffällige Eingaben
Augenbewegungen können diskreter sein als Sprachbefehle oder Handgesten. Das könnte bei leichten Alltagsbrillen interessant sein, die nur wenige Informationen einblenden.
Medizinische Forschung
Elektrische Messungen der Augenbewegung könnten langfristig auch für medizinische Untersuchungen genutzt werden. ElectraSight selbst ist jedoch kein diagnostisches Gerät und wurde nicht als solches geprüft.
Was die Untersuchung noch nicht beantwortet
Die bisherigen Ergebnisse stammen aus einer vergleichsweise kleinen Untersuchung mit 20 Teilnehmern. Die Messungen fanden unter kontrollierten Bedingungen statt.
Die Versuchspersonen saßen vor einem Bildschirm und betrachteten vorgegebene Punkte. Körper- und Kopfbewegungen sollten weitgehend vermieden werden.
Der Alltag stellt deutlich höhere Anforderungen. Eine Smartglass muss auch dann funktionieren, wenn der Nutzer:
- läuft oder Treppen steigt
- den Kopf schnell bewegt
- schwitzt
- die Brille verschiebt
- häufig zwischen nahen und entfernten Objekten blickt
- die Brille absetzt und wieder aufsetzt
- müde wird
- sich in wechselnden Temperaturen befindet
Auch unterschiedliche Gesichtsformen und Brillensitze können die Messung beeinflussen. Kontaktlose Sensoren reagieren möglicherweise empfindlich auf den Abstand zur Haut. Die kontaktbasierten Elektroden müssen gleichzeitig zuverlässig an den Auflagepunkten sitzen.
Künftige Systeme könnten zusätzliche Bewegungssensoren verwenden, um Störungen durch Kopf- und Körperbewegungen aus den Signalen herauszurechnen.
Kann ElectraSight klassische Augenkameras ersetzen?
Für einige Anwendungen ist das denkbar. Eine einfache Smartglass muss nicht immer genau wissen, welchen Buchstaben oder welches kleine Symbol der Nutzer ansieht. Für grundlegende Eingaben können wenige Richtungsklassen genügen.
Bei anspruchsvollen Augmented-Reality-Anwendungen bleiben Kamerasysteme vorerst im Vorteil. Präzises foveiertes Rendering, genaue Blickpunktmessungen und die Auswahl sehr kleiner virtueller Objekte benötigen eine höhere räumliche Genauigkeit.
Langfristig könnten auch hybride Lösungen entstehen. Elektrische Sensoren würden einfache Augenbewegungen besonders stromsparend erfassen. Eine Augenkamera könnte nur dann aktiviert werden, wenn eine Anwendung eine präzisere Messung benötigt.
Dadurch müsste die Kamera nicht dauerhaft laufen. Das könnte sowohl den Energieverbrauch als auch die Menge der entstehenden Bilddaten reduzieren.
Ein Schritt zu datensparsameren Smartglasses
ElectraSight zeigt, dass Eye-Tracking nicht zwangsläufig auf kontinuierliche Videoaufnahmen angewiesen ist. Elektrische Sensoren im Brillenrahmen können grundlegende Augenbewegungen und Blinzeln erkennen. Ein kompaktes KI-Modell wertet die Signale mit geringem Energieverbrauch direkt auf dem Gerät aus.
Die hohen Erkennungsraten bei einer begrenzten Zahl von Bewegungsklassen machen die Technik vor allem für einfache Steuerungen interessant. Ein vollständiger Ersatz für präzises kamerabasiertes Eye-Tracking ist ElectraSight bislang nicht.
Aus Datenschutzsicht bietet das Verfahren dennoch einen wichtigen Vorteil: Es entstehen keine fortlaufenden Augenbilder. Werden die Signale ausschließlich lokal verarbeitet und nur einzelne Steuerungsbefehle weitergegeben, könnte die Technik deutlich datensparsamer arbeiten.
Entscheidend bleibt jedoch die konkrete Umsetzung. Auch kamerafreie Blickdaten können Aufmerksamkeit, Interessen und gesundheitliche Merkmale sichtbar machen. Datenschutzfreundliche Smartglasses benötigen deshalb nicht nur neue Sensoren, sondern klare technische Grenzen für Speicherung, Übertragung und Nutzung.
ElectraSight löst diese Fragen noch nicht vollständig. Das Forschungssystem zeigt aber, dass Smartglasses ihre Nutzer künftig möglicherweise verstehen können, ohne ihnen ständig mit einer Kamera ins Auge zu schauen.
Quellen:
- https://arxiv.org/html/2412.14848v1
- https://dl.acm.org/doi/10.1145/3715669.3727350
- https://link.springer.com/chapter/10.1007/978-3-030-42504-3_15
- https://www.researchgate.net/publication/387261697_ElectraSight_Smart_Glasses_with_Fully_Onboard_Non-Invasive_Eye_Tracking_Using_Hybrid_Contact_and_Contactless_EOG
- https://www.electronicsforu.com/news/smarter-eye-tracking-for-smart-glasses
- https://en.wikipedia.org/wiki/Everysight
- https://ui.adsabs.harvard.edu/abs/2024arXiv241214848S/abstract