OmniThink: Расширение границ знаний в машинном письме через мышление

OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking

January 16, 2025

Авторы: Zekun Xi, Wenbiao Yin, Jizhan Fang, Jialong Wu, Runnan Fang, Ningyu Zhang, Jiang Yong, Pengjun Xie, Fei Huang, Huajun Chen

cs.AI

Аннотация

Машинное письмо с использованием больших языковых моделей часто опирается на генерацию с усилением поиска. Однако эти подходы остаются ограниченными предопределенным рамками модели, что ограничивает генерацию содержания с богатой информацией. Конкретно, информация, полученная стандартным способом, часто не имеет глубины, полезности и страдает от избыточности, что негативно сказывается на качестве созданных статей, приводя к поверхностным, повторяющимся и неоригинальным результатам. Для решения этих проблем мы предлагаем OmniThink, фреймворк для машинного письма, который эмулирует человекоподобный процесс итеративного расширения и рефлексии. Основная идея за OmniThink заключается в имитации когнитивного поведения обучающихся, постепенно углубляющих свои знания по темам. Экспериментальные результаты показывают, что OmniThink улучшает плотность знаний созданных статей, не жертвуя такими метриками, как связность и глубина. Оценки людей и обратная связь экспертов дополнительно подчеркивают потенциал OmniThink в решении реальных проблем в создании статей большого объема.

English

Machine writing with large language models often relies on retrieval-augmented generation. However, these approaches remain confined within the boundaries of the model's predefined scope, limiting the generation of content with rich information. Specifically, vanilla-retrieved information tends to lack depth, utility, and suffers from redundancy, which negatively impacts the quality of generated articles, leading to shallow, repetitive, and unoriginal outputs. To address these issues, we propose OmniThink, a machine writing framework that emulates the human-like process of iterative expansion and reflection. The core idea behind OmniThink is to simulate the cognitive behavior of learners as they progressively deepen their knowledge of the topics. Experimental results demonstrate that OmniThink improves the knowledge density of generated articles without compromising metrics such as coherence and depth. Human evaluations and expert feedback further highlight the potential of OmniThink to address real-world challenges in the generation of long-form articles.