Het ontcijferen van leesdoelen uit oogbewegingen

Decoding Reading Goals from Eye Movements

October 28, 2024

Auteurs: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Samenvatting

Lezers kunnen verschillende doelen hebben met betrekking tot de tekst die ze lezen. Kunnen deze doelen worden ontcijferd uit het patroon van hun oogbewegingen over de tekst? In dit werk onderzoeken we voor het eerst of het mogelijk is om twee soorten leesdoelen te ontcijferen die veel voorkomen in het dagelijks leven: informatie zoeken en gewoon lezen. Met behulp van grootschalige eye-tracking gegevens passen we op deze taak een breed scala aan toonaangevende modellen toe voor oogbewegingen en tekst die verschillende architecturale en gegevensrepresentatiestrategieën bestrijken, en introduceren we verder een nieuw modelensemble. We evalueren systematisch deze modellen op drie niveaus van generalisatie: nieuw tekstueel item, nieuwe deelnemer, en de combinatie van beide. We constateren dat oogbewegingen zeer waardevolle signalen bevatten voor deze taak. We voeren verder een foutenanalyse uit die voortbouwt op eerdere empirische bevindingen over verschillen tussen gewoon lezen en informatie zoeken en gebruikmaakt van rijke tekstuele annotaties. Deze analyse onthult belangrijke eigenschappen van tekstuele items en de oogbewegingen van deelnemers die bijdragen aan de moeilijkheid van de taak.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.