Википедия в эпоху больших языковых моделей: эволюция и риски

Wikipedia in the Era of LLMs: Evolution and Risks

March 4, 2025

Авторы: Siming Huang, Yuliang Xu, Mingmeng Geng, Yao Wan, Dongping Chen

cs.AI

Аннотация

В данной статье мы представляем всесторонний анализ влияния крупных языковых моделей (LLM) на Википедию, исследуя эволюцию Википедии на основе существующих данных и используя симуляции для изучения потенциальных рисков. Мы начинаем с анализа просмотров страниц и содержания статей, чтобы изучить недавние изменения в Википедии и оценить влияние LLM. Затем мы оцениваем, как LLM влияют на различные задачи обработки естественного языка (NLP), связанные с Википедией, включая машинный перевод и генерацию с использованием поискового усиления (RAG). Наши результаты и данные симуляций показывают, что статьи Википедии подверглись влиянию LLM, с воздействием примерно 1%-2% в определенных категориях. Если эталон машинного перевода, основанный на Википедии, подвергнется влиянию LLM, оценки моделей могут быть завышены, а сравнительные результаты между моделями также могут измениться. Более того, эффективность RAG может снизиться, если база знаний будет загрязнена контентом, созданным LLM. Хотя LLM еще не полностью изменили языковые и структурные знания Википедии, мы считаем, что наши эмпирические результаты указывают на необходимость тщательного рассмотрения потенциальных будущих рисков.

English

In this paper, we present a thorough analysis of the impact of Large Language Models (LLMs) on Wikipedia, examining the evolution of Wikipedia through existing data and using simulations to explore potential risks. We begin by analyzing page views and article content to study Wikipedia's recent changes and assess the impact of LLMs. Subsequently, we evaluate how LLMs affect various Natural Language Processing (NLP) tasks related to Wikipedia, including machine translation and retrieval-augmented generation (RAG). Our findings and simulation results reveal that Wikipedia articles have been influenced by LLMs, with an impact of approximately 1%-2% in certain categories. If the machine translation benchmark based on Wikipedia is influenced by LLMs, the scores of the models may become inflated, and the comparative results among models might shift as well. Moreover, the effectiveness of RAG might decrease if the knowledge base becomes polluted by LLM-generated content. While LLMs have not yet fully changed Wikipedia's language and knowledge structures, we believe that our empirical findings signal the need for careful consideration of potential future risks.