SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

要約

この論文では、LLM の内部状態から自己認識の不確実性を抽出する新しい適応 RAG モデルである自己認識知識検索 (SeaKR) を紹介します。
SeaKR は、LLM が生成に関して高い自己認識不確実性を示す場合に取得をアクティブ化します。
取得したナレッジ スニペットを効果的に統合するために、SeaKR は LLM の自己認識の不確実性に基づいてそれらを再ランク付けし、不確実性を最大限に低減するスニペットを保存します。
複数の検索を必要とする複雑なタスクの解決を容易にするために、SeaKR は自己認識の不確実性を利用して、さまざまな推論戦略の中から選択します。
複雑な質問応答データセットと単純な質問応答データセットの両方に対する実験では、SeaKR が既存の適応 RAG 手法よりも優れていることが示されています。
コードは https://github.com/THU-KEG/SeaKR でリリースされます。

要約(オリジナル)

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM’s self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google