Фактическая точность языковых моделей зависит от языка запроса.

Language Models' Factuality Depends on the Language of Inquiry

February 25, 2025

Авторы: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang

cs.AI

Аннотация

Многоязычные языковые модели (LMs) должны последовательно воспроизводить фактические знания на разных языках, однако они часто не могут передавать знания между языками, даже если обладают правильной информацией на одном из них. Например, мы обнаружили, что LM может правильно определить, что Рашед Аль Шашаи родом из Саудовской Аравии, когда вопрос задан на арабском языке, но постоянно ошибается, если вопрос задан на английском или суахили. Чтобы систематически исследовать это ограничение, мы представляем бенчмарк из 10 000 фактов, связанных с странами, на 13 языках, и предлагаем три новых метрики: Factual Recall Score (оценка воспроизведения фактов), Knowledge Transferability Score (оценка передаваемости знаний) и Cross-Lingual Factual Knowledge Transferability Score (оценка кросс-языковой передаваемости фактических знаний) — для количественной оценки воспроизведения фактов и передаваемости знаний в LMs на разных языках. Наши результаты выявляют фундаментальные слабости современных передовых LMs, особенно в кросс-языковой генерализации, где модели не могут эффективно передавать знания между разными языками, что приводит к нестабильной производительности, зависящей от используемого языка. Наши выводы подчеркивают необходимость того, чтобы LMs распознавали языковую специфику надежности фактов и использовали наиболее достоверную информацию на разных языках. Мы публикуем наш бенчмарк и оценочную структуру для стимулирования будущих исследований в области многоязычной передачи знаний.

English

Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.