Decodifica degli obiettivi di lettura dai movimenti oculari

Decoding Reading Goals from Eye Movements

October 28, 2024

Autori: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Abstract

I lettori possono avere obiettivi diversi rispetto al testo che stanno leggendo. È possibile decodificare tali obiettivi dal modello dei loro movimenti oculari sul testo? In questo lavoro, esaminiamo per la prima volta se sia possibile decodificare due tipi di obiettivi di lettura comuni nella vita quotidiana: la ricerca di informazioni e la lettura ordinaria. Utilizzando un ampio set di dati di eye-tracking, applichiamo a questo compito una vasta gamma di modelli all'avanguardia per i movimenti oculari e il testo che coprono diverse strategie architetturali e di rappresentazione dei dati, introducendo inoltre un nuovo insieme di modelli. Valutiamo sistematicamente questi modelli a tre livelli di generalizzazione: nuovo elemento testuale, nuovo partecipante e la combinazione di entrambi. Scopriamo che i movimenti oculari contengono segnali molto preziosi per questo compito. Effettuiamo inoltre un'analisi degli errori che si basa su precedenti scoperte empiriche sulle differenze tra la lettura ordinaria e la ricerca di informazioni e sfrutta ricche annotazioni testuali. Questa analisi rivela proprietà chiave degli elementi testuali e dei movimenti oculari dei partecipanti che contribuiscono alla complessità del compito.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.