OmniThink: Erweiterung der Wissensgrenzen in der maschinellen Schreibweise durch Denken

OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking

January 16, 2025

Autoren: Zekun Xi, Wenbiao Yin, Jizhan Fang, Jialong Wu, Runnan Fang, Ningyu Zhang, Jiang Yong, Pengjun Xie, Fei Huang, Huajun Chen

cs.AI

Zusammenfassung

Das maschinelle Schreiben mit großen Sprachmodellen basiert häufig auf generierungsergänztem Abruf. Diese Ansätze bleiben jedoch innerhalb der Grenzen des vordefinierten Umfangs des Modells, was die Generierung von Inhalten mit reichen Informationen einschränkt. Speziell neigt die rein abgerufene Information dazu, an Tiefe und Nützlichkeit zu fehlen und unter Redundanz zu leiden, was sich negativ auf die Qualität der generierten Artikel auswirkt und zu oberflächlichen, sich wiederholenden und nicht originellen Ergebnissen führt. Um diese Probleme anzugehen, schlagen wir OmniThink vor, ein maschinelles Schreibrahmenwerk, das den menschenähnlichen Prozess der iterativen Erweiterung und Reflexion nachahmt. Die Kernidee hinter OmniThink besteht darin, das kognitive Verhalten von Lernenden zu simulieren, während sie ihr Wissen zu den Themen schrittweise vertiefen. Experimentelle Ergebnisse zeigen, dass OmniThink die Wissensdichte der generierten Artikel verbessert, ohne Metriken wie Kohärenz und Tiefe zu beeinträchtigen. Menschliche Bewertungen und Expertenfeedback unterstreichen weiterhin das Potenzial von OmniThink, reale Herausforderungen bei der Generierung von umfangreichen Artikeln anzugehen.

English

Machine writing with large language models often relies on retrieval-augmented generation. However, these approaches remain confined within the boundaries of the model's predefined scope, limiting the generation of content with rich information. Specifically, vanilla-retrieved information tends to lack depth, utility, and suffers from redundancy, which negatively impacts the quality of generated articles, leading to shallow, repetitive, and unoriginal outputs. To address these issues, we propose OmniThink, a machine writing framework that emulates the human-like process of iterative expansion and reflection. The core idea behind OmniThink is to simulate the cognitive behavior of learners as they progressively deepen their knowledge of the topics. Experimental results demonstrate that OmniThink improves the knowledge density of generated articles without compromising metrics such as coherence and depth. Human evaluations and expert feedback further highlight the potential of OmniThink to address real-world challenges in the generation of long-form articles.