LLM как испорченный телефон: итеративная генерация искажает информацию

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

Авторы: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

Аннотация

Поскольку крупные языковые модели всё чаще отвечают за создание онлайн-контента, возникают опасения относительно последствий многократной обработки их собственных выходных данных. Вдохновлённые эффектом "испорченного телефона" в цепочках человеческой коммуникации, в данном исследовании мы изучаем, искажают ли языковые модели информацию при итеративной генерации. С помощью экспериментов, основанных на переводе, мы обнаруживаем, что искажение накапливается со временем, завися от выбора языка и сложности цепочки. Хотя деградация неизбежна, её можно смягчить с помощью стратегических методов формулирования запросов. Эти результаты вносят вклад в обсуждение долгосрочных эффектов распространения информации, опосредованного ИИ, и поднимают важные вопросы о надёжности контента, генерируемого языковыми моделями в итеративных процессах.

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.