시선 이동으로부터 읽기 목표 해독

Decoding Reading Goals from Eye Movements

October 28, 2024

저자: Omer Shubi, Cfir Avraham Hadar, Yevgeni Berzak

cs.AI

초록

독자들은 읽고 있는 텍스트에 대해 다양한 목표를 가질 수 있습니다. 그들의 눈의 움직임 패턴에서 이러한 목표를 해독할 수 있을까요? 본 연구에서는 정보 탐색과 평범한 독해라는 일상적인 두 가지 독해 목표를 해독할 수 있는지에 대해 최초로 조사합니다. 대규모 아이트래킹 데이터를 활용하여, 다양한 아키텍처와 데이터 표현 전략을 다루는 최첨단 모델들을 이 작업에 적용하고 새로운 모델 앙상블을 소개합니다. 우리는 이러한 모델들을 새로운 텍스트 항목, 새로운 참가자, 그리고 둘의 조합 세 가지 수준에서 체계적으로 평가합니다. 눈의 움직임이 이 작업에 매우 가치 있는 신호를 포함한다는 것을 발견합니다. 우리는 또한 평범한 독해와 정보 탐색 간의 차이에 대한 이전 경험적 연구 결과에 기초한 오류 분석을 수행하고 풍부한 텍스트 주석을 활용합니다. 이 분석은 작업의 난이도에 기여하는 텍스트 항목과 참가자 눈의 움직임의 주요 특성을 밝혀냅니다.

English

Readers can have different goals with respect to the text they are reading. Can these goals be decoded from the pattern of their eye movements over the text? In this work, we examine for the first time whether it is possible to decode two types of reading goals that are common in daily life: information seeking and ordinary reading. Using large scale eye-tracking data, we apply to this task a wide range of state-of-the-art models for eye movements and text that cover different architectural and data representation strategies, and further introduce a new model ensemble. We systematically evaluate these models at three levels of generalization: new textual item, new participant, and the combination of both. We find that eye movements contain highly valuable signals for this task. We further perform an error analysis which builds on prior empirical findings on differences between ordinary reading and information seeking and leverages rich textual annotations. This analysis reveals key properties of textual items and participant eye movements that contribute to the difficulty of the task.