Meta-Chunking: Effizientes Erlernen von Textsegmentierung durch logische Wahrnehmung

Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

October 16, 2024

Autoren: Jihao Zhao, Zhiyuan Ji, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Zusammenfassung

Die Retrieval-gestützte Generierung (RAG) dient als eine geeignete Ergänzung zu großen Sprachmodellen (LLMs), übersieht jedoch oft den entscheidenden Aspekt des Textchunkings innerhalb ihres Arbeitsablaufs, was die Qualität von wissensintensiven Aufgaben beeinträchtigt. Dieser Artikel führt das Konzept des Meta-Chunkings ein, das eine Granularität zwischen Sätzen und Absätzen darstellt und aus einer Sammlung von Sätzen innerhalb eines Absatzes besteht, die tiefe linguistische logische Verbindungen aufweisen. Um das Meta-Chunking umzusetzen, haben wir zwei Strategien basierend auf LLMs entwickelt: Margin Sampling Chunking und Perplexity Chunking. Ersteres nutzt LLMs, um eine binäre Klassifizierung durchzuführen, ob aufeinanderfolgende Sätze segmentiert werden müssen, wobei Entscheidungen auf der Wahrscheinlichkeitsdifferenz basieren, die durch Margin Sampling erhalten wird. Letzteres identifiziert Textchunk-Grenzen präzise, indem es die Merkmale der Perplexity-Verteilung analysiert. Zusätzlich schlagen wir angesichts der inhärenten Komplexität verschiedener Texte eine Strategie vor, die Meta-Chunking mit dynamischem Merging kombiniert, um ein Gleichgewicht zwischen feinkörnigem und grobkörnigem Textchunking zu erreichen. Experimente an elf Datensätzen zeigen, dass Meta-Chunking die Leistung von Single-Hop- und Multi-Hop-Fragenbeantwortung basierend auf RAG effizienter verbessern kann. Beispielsweise übertrifft es auf dem 2WikiMultihopQA-Datensatz das Ähnlichkeits-Chunking um 1,32, während es nur 45,8% der Zeit benötigt. Unser Code ist verfügbar unter https://github.com/IAAR-Shanghai/Meta-Chunking.

English

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.