MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification

要約

主張の検証は、証拠と照らし合わせて主張の真実性を評価する、自動化されたファクトチェック パイプラインの重要なステップです。
この研究では、非常に限られたデータしか監視に利用できない、数ショットの請求検証の可能性を探ります。
私たちは、小規模な seq2seq モデルと新しい意味論的尺度を使用して、主張とその証拠の間の整合性を調査する先駆的なアプローチである MAPLE (Micro Analysis of Pairwise Language Evolution) を提案します。
マイクロ言語進化パスの革新的な利用法では、ラベルのないペアごとのデータを活用して、データの注釈とコンピューティング リソースへの要求を低く抑えながら、請求の検証を容易にします。
MAPLE は、FEVER、Climate FEVER、および SciFact の 3 つのファクトチェック データセットにわたって、SOTA ベースラインである SEED、PET、および LLaMA 2 と比較して大幅なパフォーマンスの向上を示しています。
データとコードはここから入手できます: https://github.com/XiaZeng0223/MAPLE

要約(オリジナル)

Claim verification is an essential step in the automated fact-checking pipeline which assesses the veracity of a claim against a piece of evidence. In this work, we explore the potential of few-shot claim verification, where only very limited data is available for supervision. We propose MAPLE (Micro Analysis of Pairwise Language Evolution), a pioneering approach that explores the alignment between a claim and its evidence with a small seq2seq model and a novel semantic measure. Its innovative utilization of micro language evolution path leverages unlabelled pairwise data to facilitate claim verification while imposing low demand on data annotations and computing resources. MAPLE demonstrates significant performance improvements over SOTA baselines SEED, PET and LLaMA 2 across three fact-checking datasets: FEVER, Climate FEVER, and SciFact. Data and code are available here: https://github.com/XiaZeng0223/MAPLE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google