IndiVec: An Exploration of Leveraging Large Language Models for Media Bias Detection with Fine-Grained Bias Indicators

要約

この研究は、個人の態度や意見を形成する影響力のあるソーシャル メディア プラットフォームが存在する今日の時代において極めて重要である、メディア バイアスの検出に焦点を当てています。
特定のデータセットに合わせて調整された特定のモデルのトレーニングに主に依存しており、ドメイン外データに対する適応性が限られ、パフォーマンスが標準以下に終わっていた従来の研究とは対照的に、大規模な言語モデルに基づいて構築された一般的なバイアス検出フレームワークである IndiVec を導入します。
IndiVec は、大規模な言語モデルとベクトル データベース技術の堅牢な命令追従機能を活用して、きめの細かいメディア バイアス データベースを構築することから始めます。
バイアス検出のための新しい入力に直面すると、私たちのフレームワークはベクトル データベースから最も関連性の高い指標を自動的に選択し、多数決を採用して入力のバイアス ラベルを決定します。
IndiVec は、その適応性 (さまざまなソースからの多様なデータセットにわたって一貫したパフォーマンスを実証する) と説明可能性 (バイアス予測を解釈するための明示的な上位 K 指標を提供する) により、以前の手法と比較して優れています。
4 つの政治的偏見データセットに関する実験結果は、ベースラインに対する IndiVec の顕著な優位性を強調しています。
さらに、追加の実験と分析により、フレームワークの有効性についての深い洞察が得られます。

要約(オリジナル)

This study focuses on media bias detection, crucial in today’s era of influential social media platforms shaping individual attitudes and opinions. In contrast to prior work that primarily relies on training specific models tailored to particular datasets, resulting in limited adaptability and subpar performance on out-of-domain data, we introduce a general bias detection framework, IndiVec, built upon large language models. IndiVec begins by constructing a fine-grained media bias database, leveraging the robust instruction-following capabilities of large language models and vector database techniques. When confronted with new input for bias detection, our framework automatically selects the most relevant indicator from the vector database and employs majority voting to determine the input’s bias label. IndiVec excels compared to previous methods due to its adaptability (demonstrating consistent performance across diverse datasets from various sources) and explainability (providing explicit top-k indicators to interpret bias predictions). Experimental results on four political bias datasets highlight IndiVec’s significant superiority over baselines. Furthermore, additional experiments and analysis provide profound insights into the framework’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google