Automated Fact-Checking in Dialogue: Are Specialized Models Needed?

要約

これまでの研究では、単独の主張に対する典型的なファクトチェックモデルは、対話で行われた主張には対応できないことが示されています。
解決策として、ラベル付き対話データに基づいてこれらのモデルを微調整することが提案されています。
ただし、ユースケースごとに個別のモデルを作成することは非現実的であり、対話用のモデルを微調整すると、一般的なファクトチェックのパフォーマンスが低下することを示します。
この課題を克服するために、対話と典型的な事実確認の両方に同じモデルを使用できるようにする手法を紹介します。
これらは主に、検索の適応化と、スタンドアロンのクレームでトレーニングされたモデルによって会話入力を正確に予測できるように会話入力を変換することに焦点を当てています。
私たちは、これらの技術を組み込んだ典型的なファクトチェックモデルが、単独の主張に対する精度を維持しながら、対話用に微調整された最先端のモデルと競合できることを実証します。

要約(オリジナル)

Prior research has shown that typical fact-checking models for stand-alone claims struggle with claims made in dialogues. As a solution, fine-tuning these models on labelled dialogue data has been proposed. However, creating separate models for each use case is impractical, and we show that fine-tuning models for dialogue results in poor performance on typical fact-checking. To overcome this challenge, we present techniques that allow us to use the same models for both dialogue and typical fact-checking. These mainly focus on retrieval adaptation and transforming conversational inputs so that they can be accurately predicted by models trained on stand-alone claims. We demonstrate that a typical fact-checking model incorporating these techniques is competitive with state-of-the-art models fine-tuned for dialogue, while maintaining its accuracy on stand-alone claims.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google