MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation

要約

規制文書には、微妙な用語や特殊な意味論が豊富に含まれています。
FRAG システム: 事前トレーニング済み (または凍結された) コンポーネントを利用する凍結検索拡張ジェネレーターは、検索パフォーマンスと応答パフォーマンスの両方で結果として生じる課題に直面しています。
我々は、多段階チューニング（MST）戦略を使用して、レトリーバーのパフォーマンスをターゲットドメインに適応させるシステムを紹介します。
MST-R と呼ばれる私たちの検索アプローチでは、(a) 最初にハード ネガティブ マイニングを使用してベクトル ストアで使用されるエンコーダを微調整し、(b) 次にハイブリッド リトリーバーを使用し、逆数ランク融合を使用してスパース リトリーバーとデンス リトリーバーを組み合わせます。その後、(c)
上位 k 個の取得結果のみを微調整することにより、クロスアテンション エンコーダを実行します。
RIRAG チャレンジ (COLING 2025 での RegNLP ワークショップの一環として) のためにリリースされたデータセットでシステム パフォーマンスのベンチマークを行います。
私たちは大幅なパフォーマンスの向上を達成し、RegNLP チャレンジ リーダーボードでトップランクを獲得しました。
また、簡単な回答アプローチが、すべてのベースラインと事前トレーニングされた Llama モデルを上回る RePAS メトリクスを利用することも示します。
この異常を分析することで、今後の研究に向けた重要な知見を提示します。

要約(オリジナル)

Regulatory documents are rich in nuanced terminology and specialized semantics. FRAG systems: Frozen retrieval-augmented generators utilizing pre-trained (or, frozen) components face consequent challenges with both retriever and answering performance. We present a system that adapts the retriever performance to the target domain using a multi-stage tuning (MST) strategy. Our retrieval approach, called MST-R (a) first fine-tunes encoders used in vector stores using hard negative mining, (b) then uses a hybrid retriever, combining sparse and dense retrievers using reciprocal rank fusion, and then (c) adapts the cross-attention encoder by fine-tuning only the top-k retrieved results. We benchmark the system performance on the dataset released for the RIRAG challenge (as part of the RegNLP workshop at COLING 2025). We achieve significant performance gains obtaining a top rank on the RegNLP challenge leaderboard. We also show that a trivial answering approach games the RePASs metric outscoring all baselines and a pre-trained Llama model. Analyzing this anomaly, we present important takeaways for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google