Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) の実行可能な補完機能として機能しますが、知識集約型タスクの品質に影響を与える、パイプライン内のテキストのチャンク化の重要な側面を見落とすことがよくあります。
この論文では、メタチャンキングの概念を紹介します。これは、文と段落の間の粒度を指し、深い言語論理的つながりを持つ段落内の文のコレクションで構成されます。
メタチャンキングを実装するために、マージン サンプリング チャンキングとパープレキシティ チャンキングという LLM に基づいた 2 つの戦略を設計しました。
前者では、LLM を使用して、連続する文を分割する必要があるかどうかをバイナリ分類し、マージン サンプリングから得られた確率差に基づいて決定します。
後者は、パープレキシティ分布の特性を分析することにより、テキスト チャンクの境界を正確に識別します。
さらに、さまざまなテキストの固有の複雑さを考慮して、メタチャンキングと動的マージを組み合わせて、きめの細かいテキスト チャンクと粗いテキスト チャンクの間のバランスを実現する戦略を提案します。
11 のデータセットに対して行われた実験では、メタチャンキングにより、RAG に基づくシングルホップおよびマルチホップの質問応答のパフォーマンスがより効率的に向上できることが実証されました。
たとえば、2WikiMultihopQA データセットでは、類似性チャンキングよりも 1.32 優れたパフォーマンスを示しますが、消費する時間はわずか 45.8% です。
私たちのコードは https://github.com/IAAR-Shanghai/Meta-Chunking で入手できます。

要約(オリジナル)

Retrieval-Augmented Generation (RAG), while serving as a viable complement to large language models (LLMs), often overlooks the crucial aspect of text chunking within its pipeline, which impacts the quality of knowledge-intensive tasks. This paper introduces the concept of Meta-Chunking, which refers to a granularity between sentences and paragraphs, consisting of a collection of sentences within a paragraph that have deep linguistic logical connections. To implement Meta-Chunking, we designed two strategies based on LLMs: Margin Sampling Chunking and Perplexity Chunking. The former employs LLMs to perform binary classification on whether consecutive sentences need to be segmented, making decisions based on the probability difference obtained from margin sampling. The latter precisely identifies text chunk boundaries by analyzing the characteristics of perplexity distribution. Additionally, considering the inherent complexity of different texts, we propose a strategy that combines Meta-Chunking with dynamic merging to achieve a balance between fine-grained and coarse-grained text chunking. Experiments conducted on eleven datasets demonstrate that Meta-Chunking can more efficiently improve the performance of single-hop and multi-hop question answering based on RAG. For instance, on the 2WikiMultihopQA dataset, it outperforms similarity chunking by 1.32 while only consuming 45.8% of the time. Our code is available at https://github.com/IAAR-Shanghai/Meta-Chunking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google