Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM

要約

検索拡張言語モデルは、事実が重要なタスクを含む自然言語処理 (NLP) のさまざまな領域にわたって有望なパフォーマンスを示しています。
ただし、高度な大規模言語モデル (LLM) のブラック ボックスの性質と、特定のタスクの非検索指向の監視信号により、ブラック ボックス LLM の設定下では検索モデルのトレーニングは重大な課題に直面しています。
我々は、ブラックボックス LLM を使用してニュース主張のファクトチェックを強化するために、強化検索によるきめ細かなフィードバック (FFRR) を活用するアプローチを提案します。
FFRR は 2 レベルの戦略を採用し、LLM からきめ細かいフィードバックを収集します。これは、タスクの非検索のグラウンド トゥルースに基づいて取得されたドキュメントを評価することにより、取得ポリシーを最適化するための報酬として機能します。
私たちは、現実世界のニュース主張検証のために 2 つの公開データセットでモデルを評価しました。その結果、FFRR が強力な LLM 対応ベースラインと非 LLM ベースラインに比べて大幅な改善を達成していることが実証されました。

要約(オリジナル)

Retrieval-augmented language models have exhibited promising performance across various areas of natural language processing (NLP), including fact-critical tasks. However, due to the black-box nature of advanced large language models (LLMs) and the non-retrieval-oriented supervision signal of specific tasks, the training of retrieval model faces significant challenges under the setting of black-box LLM. We propose an approach leveraging Fine-grained Feedback with Reinforcement Retrieval (FFRR) to enhance fact-checking on news claims by using black-box LLM. FFRR adopts a two-level strategy to gather fine-grained feedback from the LLM, which serves as a reward for optimizing the retrieval policy, by rating the retrieved documents based on the non-retrieval ground truth of the task. We evaluate our model on two public datasets for real-world news claim verification, and the results demonstrate that FFRR achieves significant improvements over strong LLM-enabled and non-LLM baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google