Méta-Chunking : Apprentissage de la segmentation efficace du texte via la perception logique

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Auteurs: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Résumé

La Génération Augmentée par Récupération (GAR), tout en servant de complément viable aux grands modèles de langage (GML), néglige souvent l'aspect crucial du découpage de texte au sein de son pipeline, ce qui impacte la qualité des tâches intensives en connaissances. Cet article introduit le concept de Méta-Découpage, qui fait référence à une granularité entre les phrases et les paragraphes, consistant en une collection de phrases au sein d'un paragraphe ayant des connexions logiques linguistiques profondes. Pour mettre en œuvre le Méta-Découpage, nous avons conçu deux stratégies basées sur les GML : le Découpage par Échantillonnage de Marge et le Découpage par Périplexité. Le premier utilise les GML pour effectuer une classification binaire sur la nécessité de segmenter des phrases consécutives, prenant des décisions basées sur la différence de probabilité obtenue à partir de l'échantillonnage de marge. Le second identifie précisément les limites des découpages de texte en analysant les caractéristiques de la distribution de la périplexité. De plus, compte tenu de la complexité inhérente de différents textes, nous proposons une stratégie qui combine le Méta-Découpage avec une fusion dynamique pour atteindre un équilibre entre un découpage de texte fin et grossier. Des expériences menées sur onze ensembles de données démontrent que le Méta-Découpage peut améliorer de manière plus efficace les performances des questions à réponse unique et à réponses multiples basées sur la GAR. Par exemple, sur l'ensemble de données 2WikiMultihopQA, il surpasse le découpage par similarité de 1,32 tout en ne consommant que 45,8 % du temps. Notre code est disponible sur https://github.com/IAAR-Shanghai/Meta-Chunking.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.