HtmlRAG: HTML è Migliore del Testo Puro per la Modellazione della Conoscenza Recuperata nei Sistemi RAG

HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems

November 5, 2024

Autori: Jiejun Tan, Zhicheng Dou, Wen Wang, Mang Wang, Weipeng Chen, Ji-Rong Wen

cs.AI

Abstract

Il Generazione Arricchita da Recupero (RAG) ha dimostrato di migliorare le capacità di conoscenza e di alleviare il problema delle allucinazioni dei LLM. Il Web è una fonte principale di conoscenza esterna utilizzata nei sistemi RAG, e molti sistemi commerciali come ChatGPT e Perplexity hanno utilizzato motori di ricerca Web come principali sistemi di recupero. Tipicamente, tali sistemi RAG recuperano i risultati della ricerca, scaricano le fonti HTML dei risultati e quindi estraggono testi semplici dalle fonti HTML. I documenti o frammenti di testo semplice vengono inseriti nei LLM per arricchire la generazione. Tuttavia, gran parte delle informazioni strutturali e semantiche intrinseche nell'HTML, come intestazioni e strutture di tabelle, vengono perse durante questo processo RAG basato su testo semplice. Per alleviare questo problema, proponiamo HtmlRAG, che utilizza HTML invece del testo semplice come formato di conoscenza recuperata in RAG. Riteniamo che l'HTML sia migliore del testo semplice nel modellare la conoscenza nei documenti esterni, e la maggior parte dei LLM possiede capacità robuste per comprendere l'HTML. Tuttavia, l'utilizzo dell'HTML presenta nuove sfide. L'HTML contiene contenuti aggiuntivi come tag, JavaScript e specifiche CSS, che introducono token di input aggiuntivi e rumore nel sistema RAG. Per affrontare questo problema, proponiamo strategie di pulizia, compressione e potatura dell'HTML, per accorciare l'HTML riducendo al minimo la perdita di informazioni. In particolare, progettiamo un metodo di potatura basato su albero a due fasi che elimina i blocchi HTML inutili e mantiene solo la parte rilevante dell'HTML. Gli esperimenti su sei set di dati di domande e risposte confermano la superiorità dell'utilizzo dell'HTML nei sistemi RAG.

English

Retrieval-Augmented Generation (RAG) has been shown to improve knowledge capabilities and alleviate the hallucination problem of LLMs. The Web is a major source of external knowledge used in RAG systems, and many commercial systems such as ChatGPT and Perplexity have used Web search engines as their major retrieval systems. Typically, such RAG systems retrieve search results, download HTML sources of the results, and then extract plain texts from the HTML sources. Plain text documents or chunks are fed into the LLMs to augment the generation. However, much of the structural and semantic information inherent in HTML, such as headings and table structures, is lost during this plain-text-based RAG process. To alleviate this problem, we propose HtmlRAG, which uses HTML instead of plain text as the format of retrieved knowledge in RAG. We believe HTML is better than plain text in modeling knowledge in external documents, and most LLMs possess robust capacities to understand HTML. However, utilizing HTML presents new challenges. HTML contains additional content such as tags, JavaScript, and CSS specifications, which bring extra input tokens and noise to the RAG system. To address this issue, we propose HTML cleaning, compression, and pruning strategies, to shorten the HTML while minimizing the loss of information. Specifically, we design a two-step block-tree-based pruning method that prunes useless HTML blocks and keeps only the relevant part of the HTML. Experiments on six QA datasets confirm the superiority of using HTML in RAG systems.