HtmlRAG : HTML est meilleur que le texte brut pour modéliser les connaissances récupérées dans les systèmes RAG

HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems

November 5, 2024

Auteurs: Jiejun Tan, Zhicheng Dou, Wen Wang, Mang Wang, Weipeng Chen, Ji-Rong Wen

cs.AI

Résumé

La Génération Augmentée par Récupération (RAG) a été démontrée comme améliorant les capacités de connaissance et atténuant le problème d'hallucination des LLM. Le Web est une source majeure de connaissances externes utilisée dans les systèmes RAG, et de nombreux systèmes commerciaux tels que ChatGPT et Perplexity ont utilisé des moteurs de recherche Web comme principaux systèmes de récupération. Typiquement, de tels systèmes RAG récupèrent les résultats de recherche, téléchargent les sources HTML des résultats, puis extraient des textes bruts des sources HTML. Les documents ou fragments de texte brut sont ensuite introduits dans les LLM pour augmenter la génération. Cependant, une grande partie des informations structurelles et sémantiques inhérentes à HTML, telles que les en-têtes et les structures de table, sont perdues lors de ce processus RAG basé sur du texte brut. Pour atténuer ce problème, nous proposons HtmlRAG, qui utilise HTML au lieu de texte brut comme format de connaissances récupérées en RAG. Nous pensons qu'HTML est meilleur que le texte brut pour modéliser les connaissances dans les documents externes, et la plupart des LLM possèdent des capacités robustes pour comprendre HTML. Cependant, l'utilisation d'HTML présente de nouveaux défis. HTML contient du contenu supplémentaire tel que des balises, du JavaScript et des spécifications CSS, qui ajoutent des jetons d'entrée supplémentaires et du bruit au système RAG. Pour résoudre ce problème, nous proposons des stratégies de nettoyage, de compression et d'élagage d'HTML, pour raccourcir l'HTML tout en minimisant la perte d'informations. Plus précisément, nous concevons une méthode d'élagage en deux étapes basée sur des blocs d'arbres qui élimine les blocs HTML inutiles et ne conserve que la partie pertinente de l'HTML. Des expériences sur six ensembles de données de questions-réponses confirment la supériorité de l'utilisation d'HTML dans les systèmes RAG.

English

Retrieval-Augmented Generation (RAG) has been shown to improve knowledge capabilities and alleviate the hallucination problem of LLMs. The Web is a major source of external knowledge used in RAG systems, and many commercial systems such as ChatGPT and Perplexity have used Web search engines as their major retrieval systems. Typically, such RAG systems retrieve search results, download HTML sources of the results, and then extract plain texts from the HTML sources. Plain text documents or chunks are fed into the LLMs to augment the generation. However, much of the structural and semantic information inherent in HTML, such as headings and table structures, is lost during this plain-text-based RAG process. To alleviate this problem, we propose HtmlRAG, which uses HTML instead of plain text as the format of retrieved knowledge in RAG. We believe HTML is better than plain text in modeling knowledge in external documents, and most LLMs possess robust capacities to understand HTML. However, utilizing HTML presents new challenges. HTML contains additional content such as tags, JavaScript, and CSS specifications, which bring extra input tokens and noise to the RAG system. To address this issue, we propose HTML cleaning, compression, and pruning strategies, to shorten the HTML while minimizing the loss of information. Specifically, we design a two-step block-tree-based pruning method that prunes useless HTML blocks and keeps only the relevant part of the HTML. Experiments on six QA datasets confirm the superiority of using HTML in RAG systems.