Multiple Abstraction Level Retrieve Augment Generation

要約

大規模な言語モデル（LLM）を搭載した検索された生成（RAG）モデルは、新しいデータと知識に適応するためのより速く、より費用対効果の高いソリューションを提供します。
また、事前に訓練されたLLMと比較して、より専門的な回答を提供します。
ただし、ほとんどの既存のアプローチは、質問回答（Q/A）をサポートするための参照として、プレフィックスサイズのチャンクを取得することに依存しています。
このアプローチは、複数のレベルの抽象化にわたって回答を生成するのに苦労しているため、単一のレベルの抽象化で情報のニーズに対処するために展開されることがよくあります。
ぼろきれの設定では、LLMSは十分な詳細が提供された場合、質問を効果的に要約および回答することができますが、過度の情報を取得すると、「中央で失われた」問題につながり、トークンの制限を超えます。
マルチセンテンスレベル、段落レベル、セクションレベル、ドキュメントレベルを含む、複数の抽象化レベル（MAL）のチャンクを使用する新しいRAGアプローチを提案します。
私たちのアプローチの有効性は、グリコサイエンスの科学的な科学的領域で実証されています。
従来のシングルレベルのRAGアプローチと比較して、私たちのアプローチは、グリコ関連の論文でQ/Aの回答の正確性を25.739 \％改善しました。

要約(オリジナル)

A Retrieval-Augmented Generation (RAG) model powered by a large language model (LLM) provides a faster and more cost-effective solution for adapting to new data and knowledge. It also delivers more specialized responses compared to pre-trained LLMs. However, most existing approaches rely on retrieving prefix-sized chunks as references to support question-answering (Q/A). This approach is often deployed to address information needs at a single level of abstraction, as it struggles to generate answers across multiple levels of abstraction. In an RAG setting, while LLMs can summarize and answer questions effectively when provided with sufficient details, retrieving excessive information often leads to the ‘lost in the middle’ problem and exceeds token limitations. We propose a novel RAG approach that uses chunks of multiple abstraction levels (MAL), including multi-sentence-level, paragraph-level, section-level, and document-level. The effectiveness of our approach is demonstrated in an under-explored scientific domain of Glycoscience. Compared to traditional single-level RAG approaches, our approach improves AI evaluated answer correctness of Q/A by 25.739\% on Glyco-related papers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google