Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling

要約

検索拡張言語モデル (RALM) は、最新の専門知識の適時更新やロングテール知識の信頼性の低さなど、LLM の暗黙的知識の制限を緩和する大きな可能性を最近示しています。
ただし、外部ナレッジ ベースおよび取得者は信頼性を保証できないため、取得したナレッジが LLM 生成に役に立たなかったり、誤解を招く可能性があります。
このペーパーでは、LLM 生成用に本質的に最適化された堅牢でプラグイン可能な知識リライターである Supportiveness-based Knowledge Rewriting (SKR) を紹介します。
具体的には、ホワイトボックス LLM の応答テキストに対する拡張知識の混乱の影響を考慮することにより、知識部分が下流のタスクをどれだけ効果的に促進するかを表す「サポート性」という新しい概念を導入します。
知識のサポート性に基づいて、最初にリライター モデルのトレーニング データ キュレーション戦略を設計し、不十分なリライトまたは無関係なリライト (サポート性スコアが低いなど) を効果的に特定して除外し、データの有効性を向上させます。
次に、生成されたリライトを最適なサポートに調整するための直接優先最適化 (DPO) アルゴリズムを導入し、リライター モデルが最終的な応答をより良く改善する拡張コンテンツを要約するように導きます。
6 つの一般的な知識集約型タスクと 4 つの LLM にわたる包括的な評価により、SKR の有効性と優位性が実証されました。
わずか 7B のパラメータで、SKR は現在の最先端の汎用 LLM である GPT-4 よりも優れた知識書き換え能力を示しました。

要約(オリジナル)

Retrieval-augmented language models (RALMs) have recently shown great potential in mitigating the limitations of implicit knowledge in LLMs, such as untimely updating of the latest expertise and unreliable retention of long-tail knowledge. However, since the external knowledge base, as well as the retriever, can not guarantee reliability, potentially leading to the knowledge retrieved not being helpful or even misleading for LLM generation. In this paper, we introduce Supportiveness-based Knowledge Rewriting (SKR), a robust and pluggable knowledge rewriter inherently optimized for LLM generation. Specifically, we introduce the novel concept of ‘supportiveness’–which represents how effectively a knowledge piece facilitates downstream tasks–by considering the perplexity impact of augmented knowledge on the response text of a white-box LLM. Based on knowledge supportiveness, we first design a training data curation strategy for our rewriter model, effectively identifying and filtering out poor or irrelevant rewrites (e.g., with low supportiveness scores) to improve data efficacy. We then introduce the direct preference optimization (DPO) algorithm to align the generated rewrites to optimal supportiveness, guiding the rewriter model to summarize augmented content that better improves the final response. Comprehensive evaluations across six popular knowledge-intensive tasks and four LLMs have demonstrated the effectiveness and superiority of SKR. With only 7B parameters, SKR has shown better knowledge rewriting capability over GPT-4, the current state-of-the-art general-purpose LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google