Efficiency and Effectiveness of LLM-Based Summarization of Evidence in Crowdsourced Fact-Checking

要約

オンラインコンテンツの真実性を評価することは、誤った情報と闘うために重要です。
この研究では、2つのアプローチの比較分析を通じて、クラウドソーシングされた真実性評価の効率と有効性を調べます。1つは、各クレームの証拠としてのフルレングスのウェブページと、大規模な言語モデルで生成された各証拠文書の要約を使用するものです。
A/Bテスト設定を使用して、これらの条件下でのステートメントの真実性を評価することを任されている多様な参加者のプールを参加させます。
分析では、評価の質と参加者の行動パターンの両方を調査します。
結果は、要約された証拠に依存すると、効率を大幅に改善しながら、標準モダリティに匹敵する精度とエラーメトリックを提供することが明らかになりました。
概要設定の労働者は、評価数が大幅に多くなり、タスクの期間とコストが削減されます。
さらに、要約のモダリティは、内部合意を最大化し、証拠の有用性への依存と認識された一貫した依存を維持し、大規模な真実性評価を合理化する可能性を実証します。

要約(オリジナル)

Evaluating the truthfulness of online content is critical for combating misinformation. This study examines the efficiency and effectiveness of crowdsourced truthfulness assessments through a comparative analysis of two approaches: one involving full-length webpages as evidence for each claim, and another using summaries for each evidence document generated with a large language model. Using an A/B testing setting, we engage a diverse pool of participants tasked with evaluating the truthfulness of statements under these conditions. Our analysis explores both the quality of assessments and the behavioral patterns of participants. The results reveal that relying on summarized evidence offers comparable accuracy and error metrics to the Standard modality while significantly improving efficiency. Workers in the Summary setting complete a significantly higher number of assessments, reducing task duration and costs. Additionally, the Summary modality maximizes internal agreement and maintains consistent reliance on and perceived usefulness of evidence, demonstrating its potential to streamline large-scale truthfulness evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google