Long-Form Information Alignment Evaluation Beyond Atomic Facts

要約

情報の調整評価者は、さまざまなNLG評価タスクと信頼できるLLMの展開に不可欠であり、幻覚を削減し、ユーザーの信頼を高めます。
FactScoreなどの現在のきめの細かい方法は、ファクトを個別に検証しますが、微妙な脆弱性を可能にします。
この作業では、明示的な幻覚を導入せずに真実の声明を「モンターにする」ことによって欺cept的な物語を構築する挑戦的なベンチマークであるモンタゲリーを紹介します。
粗粒のLLMベースの評価者と現在の細粒フレームワークの両方がこの攻撃の影響を受けやすく、AUC-ROCスコアが65％を下回ることを実証します。
より堅牢な微細な評価を可能にするために、事実上の正確性とイベント秩序の一貫性を共同で検証する新しいフレームワークであるDovescoreを提案します。
ファクト間の関係をモデル化することにより、Dovescoreは既存の細粒化方法を8％以上上回り、長い形式のテキストアライメント評価のためのより堅牢なソリューションを提供します。
コードとデータセットはhttps://github.com/dannalily/dovescoreで入手できます。

要約(オリジナル)

Information alignment evaluators are vital for various NLG evaluation tasks and trustworthy LLM deployment, reducing hallucinations and enhancing user trust. Current fine-grained methods, like FactScore, verify facts individually but neglect inter-fact dependencies, enabling subtle vulnerabilities. In this work, we introduce MontageLie, a challenging benchmark that constructs deceptive narratives by ‘montaging’ truthful statements without introducing explicit hallucinations. We demonstrate that both coarse-grained LLM-based evaluators and current fine-grained frameworks are susceptible to this attack, with AUC-ROC scores falling below 65%. To enable more robust fine-grained evaluation, we propose DoveScore, a novel framework that jointly verifies factual accuracy and event-order consistency. By modeling inter-fact relationships, DoveScore outperforms existing fine-grained methods by over 8%, providing a more robust solution for long-form text alignment evaluation. Our code and datasets are available at https://github.com/dannalily/DoveScore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google