Je ogen kunnen meer onthullen dan je denkt True Touch Lifestyle/Shutterstock
Als je wilde weten wat er achter iemands ogen omging, moest je voor het grootste deel van de menselijke geschiedenis je beste gok doen. Maar sinds de jaren zestig bestuderen wetenschappers de manier waarop oogbewegingen kunnen helpen om de gedachten van mensen te decoderen. De mogelijkheid om de details van iemands dagdromen en interne monologen af te luisteren is nog steeds science fiction. Maar onderzoek helpt ons meer te weten te komen over het verband tussen onze ogen en onze geestestoestand.
Onlangs toonde onderzoek in Duitsland aan dat het volgen van de ogen kan helpen om te ontdekken waar iemand zich in zijn denkproces bevindt.
Dit soort onderzoek gaat over meer dan algemene nieuwsgierigheid. Stel je voor dat je een piloot bent die een lastige manoeuvre uitvoert die je volledige concentratie vergt. Ondertussen heb je het knipperende alarm dat je aandacht vraagt gemist. Technologie is alleen nuttig als ze in overeenstemming is met de manier waarop mensen denken en zich gedragen in de echte wereld.
Het kunnen volgen van denkprocessen kan levensbedreigende verbanden tussen mensen en computers voorkomen. Als je psychologisch onderzoek naar eye tracking zou combineren met AI, zouden de resultaten een revolutie teweeg kunnen brengen in computerinterfaces en een revolutie betekenen voor mensen met leermoeilijkheden.
Het volgen van oogbewegingen gaat terug tot de jaren zestig, toen de eerste versies van de technologie werden ontwikkeld door de baanbrekende wetenschapper Alfred Yarbus. In die tijd werden ongemakkelijke zuignappen op de ogen van de deelnemers bevestigd en het gereflecteerde licht traceerde hun focuspunt.
Yarbus ontdekte dat we onze blik voortdurend verplaatsen en ons richten op verschillende delen van de scène voor ons. Bij elke oogbeweging komen verschillende delen van de scène scherp in beeld, en worden andere delen aan de rand van ons zicht wazig. We kunnen het niet allemaal tegelijk in ons opnemen.
De manier waarop we de scène bemonsteren is niet willekeurig. In Yarbus’ beroemde studie uit 1967 vroeg hij mensen naar een schilderij te kijken.
Dit schilderij, They Did Not Expect Him, werd gebruikt in Yabus’ werkkamer.
Ilya Repin/Wikimedia
Vervolgens vroeg hij de deelnemers “hoe rijk de mensen waren” en “wat de relatie tussen de mensen was”. Afhankelijk van de gestelde vraag ontstonden verschillende patronen van oogbewegingen.
Vooruitgang boeken
Sindsdien hebben infrarood camera’s en computerprogramma’s het volgen van de ogen gemakkelijker gemaakt. De laatste jaren heeft onderzoek aangetoond dat het volgen van de ogen kan onthullen in welke fase van het denken iemand zich bevindt. In cognitieve psychologische experimenten wordt mensen vaak gevraagd een voorwerp in een afbeelding te vinden — een waar is Wally puzzel.
De intenties van mensen beïnvloeden hoe hun ogen bewegen. Als ze bijvoorbeeld een rood voorwerp zoeken, zullen hun ogen eerst naar alle rode voorwerpen in de scène bewegen. De oogbewegingen van een persoon onthullen dus de inhoud van hun kortetermijngeheugen.
De Duitse studie uit 2022 toonde aan dat eye tracking onderscheid kan maken tussen twee fasen van denken. De ambient modus omvat het opnemen van informatie. De focale verwerking gebeurt in de latere stadia van probleemoplossing.
In de omgevingsmodus bewegen de ogen snel over grote afstanden voor ruwe indrukken van interessante doelen. Het wordt gebruikt voor ruimtelijke oriëntatie. Daarna concentreren we ons voor langere tijd op informatie terwijl we die dieper verwerken.
Vóór deze studie waren deze veranderingen in blikpatronen bestudeerd in de context van veranderingen in een visuele stimulus. Maar de Duitse studie was een van de eerste die ontdekte dat onze ogen veranderen tussen deze bewegingspatronen in reactie op een denkproces.
De proefpersonen werd gevraagd een Rubik’s kubus in elkaar te zetten volgens een model. De visuele stimulus veranderde niet, maar de oogbewegingen van de deelnemers toonden aan dat zij in de omgevingsmodus waren wanneer informatie werd opgenomen. Het patroon van de oogbewegingen van de deelnemers veranderde wanneer zij overgingen naar verschillende onderdelen van de taak, zoals het selecteren van een puzzelstukje.
Onderzoeksvrijwilligers hoeven tegenwoordig tenminste geen zuignappen over hun ogen te dragen.
Ingaav/Shutterstock
Vooruitkijken
Dit onderzoek suggereert dat technologie die bedoeld is om samen te werken met een menselijke operator gebruik zou kunnen maken van eye tracking om het denkproces van hun gebruiker te volgen. In het recente werk van mijn team ontwierpen we een systeem dat vele verschillende schermen parallel op een computerscherm presenteerde.
Ons programma volgde de oogbewegingen van mensen om te traceren naar welke informatie de deelnemers keken en om te bepalen waar ze moesten kijken, waarbij AI pijlen en markeringen op het scherm genereerde. Toepassing van AI-methoden op eye tracking-gegevens kan ook helpen aantonen of iemand moe is of verschillende leerstoornissen zoals dyslexie opsporen.
Oogbewegingen kunnen ook aanwijzingen bevatten over iemands emotionele toestand. Uit een studie bleek bijvoorbeeld dat een laag humeur ertoe leidt dat mensen hun ogen meer bewegen om te kijken naar negatieve woorden zoals “mislukking”. Uit een studie waarin de resultaten van vele experimenten werden geanalyseerd, bleek dat mensen met een depressie het kijken naar positieve stimuli (zoals blije gezichten) vermeden en dat mensen met angst zich fixeerden op tekenen van bedreiging.
Het volgen van oogbewegingen kan mensen ook helpen bij het leren door na te gaan waar iemand vastzit in een taak. Een studie met cardiologen die elektrocardiogrammen leerden lezen, gebruikte AI op basis van hun oogbewegingen om te beslissen of ze meer begeleiding nodig hadden.
In de toekomst kan AI misschien het volgen van de ogen combineren met andere metingen zoals hartslag of veranderingen in hersenactiviteit om een nauwkeurigere schatting te krijgen van iemands denken tijdens het oplossen van een probleem. De vraag is, willen we dat computers weten wat we denken?
Szonya Durant werkt voor Royal Holloway, Universiteit van Londen en adviseert voor Paravizion Ltd. Zij ontving financiering van de EPSRC en het US Air Force Office of Scientific Research.