Décodage des objectifs de lecture à partir des mouvements oculaires

Decoding Reading Goals from Eye Movements

October 28, 2024

Auteurs: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

Résumé

Les lecteurs peuvent avoir différents objectifs par rapport au texte qu'ils lisent. Ces objectifs peuvent-ils être décodés à partir du schéma de leurs mouvements oculaires sur le texte ? Dans ce travail, nous examinons pour la première fois s'il est possible de décoder deux types d'objectifs de lecture courants dans la vie quotidienne : la recherche d'information et la lecture ordinaire. En utilisant des données de suivi oculaire à grande échelle, nous appliquons à cette tâche une large gamme de modèles de pointe pour les mouvements oculaires et le texte qui couvrent différentes stratégies architecturales et de représentation des données, et introduisons en outre un nouvel ensemble de modèles. Nous évaluons systématiquement ces modèles à trois niveaux de généralisation : nouvel élément textuel, nouveau participant, et la combinaison des deux. Nous constatons que les mouvements oculaires contiennent des signaux très précieux pour cette tâche. Nous effectuons en outre une analyse d'erreur qui s'appuie sur des résultats empiriques antérieurs sur les différences entre la lecture ordinaire et la recherche d'information et tire parti de riches annotations textuelles. Cette analyse révèle des propriétés clés des éléments textuels et des mouvements oculaires des participants qui contribuent à la difficulté de la tâche.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.