WikiAutoGen: Auf dem Weg zur Multi-Modalen Wikipedia-Artikel-Generierung

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Autoren: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Zusammenfassung

Wissensentdeckung und -sammlung sind intelligenzintensive Aufgaben, die traditionell erheblichen menschlichen Aufwand erfordern, um hochwertige Ergebnisse zu gewährleisten. Aktuelle Forschungen haben Multi-Agenten-Frameworks zur Automatisierung der Generierung von Wikipedia-ähnlichen Artikeln untersucht, indem Informationen aus dem Internet abgerufen und synthetisiert werden. Diese Methoden konzentrieren sich jedoch hauptsächlich auf die reine Textgenerierung und vernachlässigen die Bedeutung von multimodalem Inhalt zur Steigerung von Informationsgehalt und Ansprechkraft. In dieser Arbeit stellen wir WikiAutoGen vor, ein neuartiges System zur automatisierten Generierung von multimodalen Wikipedia-ähnlichen Artikeln. Im Gegensatz zu früheren Ansätzen ruft WikiAutoGen relevante Bilder neben Texten ab und integriert diese, wodurch sowohl die Tiefe als auch die visuelle Attraktivität der generierten Inhalte gesteigert werden. Um die faktische Genauigkeit und Vollständigkeit weiter zu verbessern, schlagen wir einen Multi-Perspektiven-Selbstreflexionsmechanismus vor, der abgerufene Inhalte aus verschiedenen Blickwinkeln kritisch bewertet, um Zuverlässigkeit, Breite und Kohärenz zu erhöhen. Zusätzlich führen wir WikiSeek ein, einen Benchmark, der Wikipedia-Artikel mit Themen umfasst, die sowohl textuell als auch bildlich repräsentiert sind und dazu dienen, die multimodale Wissensgenerierung anspruchsvollerer Themen zu bewerten. Experimentelle Ergebnisse zeigen, dass WikiAutoGen auf unserem WikiSeek-Benchmark frühere Methoden um 8%-29% übertrifft und präzisere, kohärentere und visuell ansprechendere Wikipedia-ähnliche Artikel erzeugt. Einige unserer generierten Beispiele zeigen wir unter https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .