О приобретении общих грамматических представлений в двуязычных языковых моделях

On the Acquisition of Shared Grammatical Representations in Bilingual Language Models

March 5, 2025

Авторы: Catherine Arnett, Tyler A. Chang, James A. Michaelov, Benjamin K. Bergen

cs.AI

Аннотация

Хотя кросслингвальный перенос играет ключевую роль в многоязычных возможностях современных языковых моделей, механизм его возникновения изучен недостаточно. В данной работе мы исследуем, что происходит с одноязычной языковой моделью, когда её начинают обучать на втором языке. В частности, мы обучаем небольшие двуязычные модели, контролируя объём данных для каждого языка и порядок их представления. Чтобы найти доказательства общих многоязычных представлений, мы обращаемся к структурному праймингу — методу, используемому для изучения грамматических представлений у людей. Сначала мы воспроизводим результаты предыдущих исследований кросслингвального структурного прайминга и обнаруживаем, что после учёта объёма обучающих данных и порядка представления языков наблюдаются асимметричные эффекты для разных пар языков и направлений. Мы утверждаем, что эта асимметрия может формировать гипотезы о структурном прайминге у людей. Также мы выясняем, что эффекты структурного прайминга менее устойчивы для менее схожих языковых пар, что подчеркивает потенциальные ограничения кросслингвального переноса и общих представлений для типологически разнородных языков.

English

While crosslingual transfer is crucial to contemporary language models' multilingual capabilities, how it occurs is not well understood. In this paper, we ask what happens to a monolingual language model when it begins to be trained on a second language. Specifically, we train small bilingual models for which we control the amount of data for each language and the order of language exposure. To find evidence of shared multilingual representations, we turn to structural priming, a method used to study grammatical representations in humans. We first replicate previous crosslingual structural priming results and find that after controlling for training data quantity and language exposure, there are asymmetrical effects across language pairs and directions. We argue that this asymmetry may shape hypotheses about human structural priming effects. We also find that structural priming effects are less robust for less similar language pairs, highlighting potential limitations of crosslingual transfer learning and shared representations for typologically diverse languages.