Форма слова имеет значение: семантическая реконструкция в языковых моделях при типоглицемии

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Авторы: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Аннотация

Читатели-люди способны эффективно понимать переставленные буквы в словах, явление, известное как типоглицемия, в основном полагаясь на форму слова; если одной формы слова недостаточно, они дополнительно используют контекстные подсказки для интерпретации. Хотя современные крупные языковые модели (LLM) демонстрируют схожие способности, лежащие в их основе механизмы остаются неясными. Чтобы исследовать это, мы проводим контролируемые эксперименты для анализа роли формы слова и контекстной информации в семантической реконструкции и изучаем паттерны внимания LLM. В частности, мы сначала предлагаем SemRecScore, надежную метрику для количественной оценки степени семантической реконструкции, и подтверждаем её эффективность. Используя эту метрику, мы изучаем, как форма слова и контекстная информация влияют на способность LLM к семантической реконструкции, идентифицируя форму слова как ключевой фактор в этом процессе. Кроме того, мы анализируем, как LLM используют форму слова, и обнаруживаем, что они полагаются на специализированные головы внимания для извлечения и обработки информации о форме слова, причем этот механизм остается стабильным при различных уровнях перестановки букв. Это различие между фиксированными паттернами внимания LLM, в основном сосредоточенными на форме слова, и адаптивной стратегией читателей-людей, балансирующей между формой слова и контекстной информацией, предоставляет идеи для улучшения производительности LLM путем внедрения человеко-подобных, контекстно-зависимых механизмов.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.