Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method

要約

実際のオープンドメインの質問は、特にそれらに答えるには複数の情報源からの情報が含まれる場合に複雑になる可能性があります。
LLMSは、複雑なタスクをより単純なステップに分解する際の印象的なパフォーマンスを実証しており、以前の研究では、複雑な質問をサポートするためにより良い検索のためにそれを使用しています。
ただし、LLMの質問の分解は、どのデータが利用可能であるか、データがどのように編成されるかを知りません。多くの場合、最適な検索パフォーマンスにつながります。
エージェントRAGでの最近の取り組みは、検索が以前の回収のラウンドに基づいてアクションとして導き出される反復的な方法で検索を実行することを提案しています。
これはデータ収集と相互作用する1つの方法を提供しますが、エージェントRAGのデータの調査は非効率的です。これは、連続したクエリがコレクションで利用可能なデータの組織化によって導かれるのではなく、以前の結果に依存するためです。
この問題に対処するために、LLMベースの検索方法 – ARMを提案します。これは、クエリの発言を一致させないようにデータオブジェクト間の関係を調査することにより、データ収集の編成をよりよく調整することを目的としています。
– 複雑なクエリ用のすべてのオンセルソリューション。
鳥とOTT-QAの2つのデータセットでアームを評価しました。
鳥については、実行精度で最大5.2 ptのクエリ分解で標準のぼろを上回り、エージェントラグ（反応）を最大15.9 ptよりも優れています。
OTT-QAでは、これらのアプローチと比較して、最大5.5 ptおよび19.3 ptのF1マッチスコアを達成します。

要約(オリジナル)

Real-world open-domain questions can be complicated, particularly when answering them involves information from multiple information sources. LLMs have demonstrated impressive performance in decomposing complex tasks into simpler steps, and previous work has used it for better retrieval in support of complex questions. However, LLM’s decomposition of questions is unaware of what data is available and how data is organized, often leading to a sub-optimal retrieval performance. Recent effort in agentic RAG proposes to perform retrieval in an iterative fashion, where a followup query is derived as an action based on previous rounds of retrieval. While this provides one way of interacting with the data collection, agentic RAG’s exploration of data is inefficient because successive queries depend on previous results rather than being guided by the organization of available data in the collection. To address this problem, we propose an LLM-based retrieval method — ARM, that aims to better align the question with the organization of the data collection by exploring relationships among data objects beyond matching the utterance of the query, thus leading to a retrieve-all-at-once solution for complex queries. We evaluated ARM on two datasets, Bird and OTT-QA. On Bird, it outperforms standard RAG with query decomposition by up to 5.2 pt in execution accuracy and agentic RAG (ReAct) by up to 15.9 pt. On OTT-QA, it achieves up to 5.5 pt and 19.3 pt higher F1 match scores compared to these approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google