Evaluating AI capabilities in detecting conspiracy theories on YouTube

要約

膨大なグローバルな視聴者を持つ大手オンラインプラットフォームとして、YouTubeの広範なリーチは、偽情報や陰謀理論など、有害なコンテンツをホストすることにも影響を与えます。
この研究では、YouTubeで共有されている陰謀理論の動画を特定するために、テキストのみおよびマルチモーダルの両方のオープンウェイトラージランゲージモデル（LLMS）の使用を調査します。
数千のビデオのラベル付きデータセットを活用して、ゼロショット設定でさまざまなLLMを評価し、そのパフォーマンスを微調整されたRobertaベースラインと比較します。
結果は、テキストベースのLLMが高いリコールを達成するが、精度が低く、誤検知を増加させることを示しています。
マルチモーダルモデルは、テキストのみのカウンターパートに遅れをとっており、視覚的なデータ統合による利点が限られていることを示しています。
現実世界の適用性を評価するために、ラベルのないデータセットで最も正確なモデルを評価し、Robertaがより多くのパラメーターでLLMに近いパフォーマンスを達成することを発見しました。
私たちの仕事は、オンラインの有害なコンテンツ検出のための現在のLLMベースのアプローチの強みと制限を強調し、より正確で堅牢なシステムの必要性を強調しています。

要約(オリジナル)

As a leading online platform with a vast global audience, YouTube’s extensive reach also makes it susceptible to hosting harmful content, including disinformation and conspiracy theories. This study explores the use of open-weight Large Language Models (LLMs), both text-only and multimodal, for identifying conspiracy theory videos shared on YouTube. Leveraging a labeled dataset of thousands of videos, we evaluate a variety of LLMs in a zero-shot setting and compare their performance to a fine-tuned RoBERTa baseline. Results show that text-based LLMs achieve high recall but lower precision, leading to increased false positives. Multimodal models lag behind their text-only counterparts, indicating limited benefits from visual data integration. To assess real-world applicability, we evaluate the most accurate models on an unlabeled dataset, finding that RoBERTa achieves performance close to LLMs with a larger number of parameters. Our work highlights the strengths and limitations of current LLM-based approaches for online harmful content detection, emphasizing the need for more precise and robust systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google