QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications

要約

主張の事実確認を検証することは、人間にとってさえ大きな課題となります。
最近のアプローチでは、主張を関連する質問に分解して証拠を収集すると、事実確認プロセスの効率が向上することが実証されています。
この論文では、この質問の分解が効果的に自動化できることを示す経験的証拠を提供します。
さまざまなデータセットからのデータ拡張を使用して質問生成タスク用に微調整された小規模な生成モデルが、大規模な言語モデルよりも最大 8% 優れていることを実証します。
驚くべきことに、場合によっては、機械が生成した質問を使用して取得された証拠の方が、人間が作成した質問から得られた証拠よりも事実確認に大幅に効果的であることが判明します。
また、生成された質問の品質を評価するために、分解された質問を手動で評価します。

要約(オリジナル)

Verifying fact-checking claims poses a significant challenge, even for humans. Recent approaches have demonstrated that decomposing claims into relevant questions to gather evidence enhances the efficiency of the fact-checking process. In this paper, we provide empirical evidence showing that this question decomposition can be effectively automated. We demonstrate that smaller generative models, fine-tuned for the question generation task using data augmentation from various datasets, outperform large language models by up to 8%. Surprisingly, in some cases, the evidence retrieved using machine-generated questions proves to be significantly more effective for fact-checking than that obtained from human-written questions. We also perform manual evaluation of the decomposed questions to assess the quality of the questions generated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google