Collecting Cost-Effective, High-Quality Truthfulness Assessments with LLM Summarized Evidence

要約

ガードレールがオンラインでの誤った情報や偽情報に対する劣化により、効果的に戦うことができることがこれまで以上に重要です。
この論文では、凝縮された大規模な言語モデル（LLM）が生成されたオンラインソースの要約に基づいて、クラウドソースの真実性評価を使用する効率と有効性を調査します。
生成された要約の使用を、A/Bテスト設定で元のWebページを使用することを比較します。この設定では、群衆労働者の大規模で多様なプールを採用して、真実性評価を実行します。
評価の質、評価が実行される効率、および参加者の行動と関与を評価します。
我々の結果は、要約された証拠に依存している要約モダリティが、標準的なモダリティに対する評価の精度に大きな変化をもたらさないが、評価が実行される速度を大幅に増加させることを示している。
要約された証拠を使用している労働者は、同じ時間枠で非常に多くの評価を生み出し、真実性評価を取得するために必要なコストを削減します。
さらに、要約モダリティは、アノテーター間契約と証拠の依存と認識された有用性の両方を最大化し、評価の質を犠牲にすることなく要約された証拠の有用性を実証します。

要約(オリジナル)

With the degradation of guardrails against mis- and disinformation online, it is more critical than ever to be able to effectively combat it. In this paper, we explore the efficiency and effectiveness of using crowd-sourced truthfulness assessments based on condensed, large language model (LLM) generated summaries of online sources. We compare the use of generated summaries to the use of original web pages in an A/B testing setting, where we employ a large and diverse pool of crowd-workers to perform the truthfulness assessment. We evaluate the quality of assessments, the efficiency with which assessments are performed, and the behavior and engagement of participants. Our results demonstrate that the Summary modality, which relies on summarized evidence, offers no significant change in assessment accuracy over the Standard modality, while significantly increasing the speed with which assessments are performed. Workers using summarized evidence produce a significantly higher number of assessments in the same time frame, reducing the cost needed to acquire truthfulness assessments. Additionally, the Summary modality maximizes both the inter-annotator agreements as well as the reliance on and perceived usefulness of evidence, demonstrating the utility of summarized evidence without sacrificing the quality of assessments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google