WikiAutoGen: Verso la Generazione di Articoli in Stile Wikipedia Multi-Modale

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Autori: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Abstract

La scoperta e la raccolta di conoscenza sono compiti ad alta intensità di intelligenza che tradizionalmente richiedono un significativo sforzo umano per garantire risultati di alta qualità. Ricerche recenti hanno esplorato framework multi-agente per automatizzare la generazione di articoli in stile Wikipedia, recuperando e sintetizzando informazioni da internet. Tuttavia, questi metodi si concentrano principalmente sulla generazione di soli testi, trascurando l'importanza dei contenuti multimodali nel migliorare l'informatività e l'engagement. In questo lavoro, introduciamo WikiAutoGen, un sistema innovativo per la generazione automatizzata di articoli in stile Wikipedia con contenuti multimodali. A differenza degli approcci precedenti, WikiAutoGen recupera e integra immagini rilevanti insieme al testo, arricchendo sia la profondità che l'attrattiva visiva dei contenuti generati. Per migliorare ulteriormente l'accuratezza fattuale e la completezza, proponiamo un meccanismo di auto-riflessione multi-prospettica, che valuta criticamente i contenuti recuperati da diverse angolazioni per migliorare l'affidabilità, l'ampiezza e la coerenza, tra gli altri aspetti. Inoltre, introduciamo WikiSeek, un benchmark composto da articoli di Wikipedia con argomenti associati a rappresentazioni sia testuali che basate su immagini, progettato per valutare la generazione di conoscenza multimodale su argomenti più impegnativi. I risultati sperimentali mostrano che WikiAutoGen supera i metodi precedenti dell'8%-29% sul nostro benchmark WikiSeek, producendo articoli in stile Wikipedia più accurati, coerenti e arricchiti visivamente. Mostriamo alcuni dei nostri esempi generati su https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .