KBAlign: Efficient Self Adaptation on Specific Knowledge Bases

要約

検索された生成（RAG）は、知識ベースの質問応答（KBQA）に不可欠なままですが、現在のパラダイムは特定のドメインで重要な課題に直面しています。
既存の方法は、小規模KBSでの標的適応と闘っています。バニラの監視されていないトレーニングは、貧弱な有効性を示しますが、微調整は外部シグナルの法外なコストを負います。
効率的なモデル適応を通じてRAGシステムを強化する自己監視のフレームワークであるKbalignを提示します。
私たちの重要な洞察は、2つの革新的なメカニズムを介して、モデルの知識アラインメントのためのモデルの固有の機能を活用することです。データ構築のためのグローバルな知識を捉えるマルチグレインの自己注目と、自己検証を通じて収束を加速する反復チューニングです。
このフレームワークにより、人間の監督や外部モデルの支援なしに、特定のテキストKBSへの費用対効果の高いモデル適応が可能になります。
実験は、KbalignがGPT-4監視の適応を通じて得られたパフォーマンスゲインの90 \％を達成できる一方で、はるかに小さなモデルの自己承認に完全に依存することを示しています。
Kbalignは、少数のコストを伴う複数のドメインで下流のQA精度を大幅に向上させ、特に専門のコーパスからの深い知識統合を必要とするシナリオに利益をもたらします。
さらなる調査のために、実験データ、モデル、およびプロセス分析をコミュニティにリリースします（https://github.com/thunlp/kbalign）。

要約(オリジナル)

Although retrieval-augmented generation (RAG) remains essential for knowledge-based question answering (KBQA), current paradigms face critical challenges under specific domains. Existing methods struggle with targeted adaptation on small-scale KBs: vanilla unsupervised training exhibits poor effectiveness, while fine-tuning incurs prohibitive costs of external signals. We present KBAlign, a self-supervised framework that enhances RAG systems through efficient model adaptation. Our key insight is to leverage the model’s intrinsic capabilities for knowledge alignment through two innovative mechanisms: multi-grained self-annotation that captures global knowledge for data construction, and iterative tuning that accelerates convergence through self verification. This framework enables cost-effective model adaptation to specific textual KBs, without human supervision or external model assistance. Experiments demonstrate that KBAlign can achieve 90\% of the performance gain obtained through GPT-4-supervised adaptation, while relying entirely on self-annotation of much smaller models. KBAlign significantly improves downstream QA accuracy across multiple domains with tiny costs, particularly benefiting scenarios requiring deep knowledge integration from specialized corpora. We release our experimental data, models, and process analyses to the community for further exploration (https://github.com/thunlp/KBAlign).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google