Assessing Large Language Models for Online Extremism Research: Identification, Explanation, and New Knowledge

要約

米国では暴力的過激主義が大幅に増加しており、オンラインでの過激派イデオロギーの拡散を検出して制限するための自動ツールの必要性が高まっています。
この研究では、国内のオンライン過激派投稿の検出と分類における Bidirectional Encoder Representations from Transformers (BERT) と Generative Pre-Trained Transformers (GPT) のパフォーマンスを評価します。
私たちは「極右」と「極左」のイデオロギーキーワードを含むソーシャルメディア投稿を収集し、それらを過激派または非過激派として手動でラベル付けしました。
過激主義の投稿は、有効な定義枠組みに基づいて、過激主義に寄与する 5 つの要素のうち 1 つ以上にさらに分類されました。
BERT モデルのパフォーマンスは、トレーニング データのサイズとカテゴリ間の知識の伝達に基づいて評価されました。
また、さまざまなプロンプト (素朴、一般人による定義、ロールプレイング、専門家による定義) を使用して、GPT 3.5 モデルと GPT 4 モデルのパフォーマンスを比較しました。
結果は、最もパフォーマンスの高い GPT モデルが最もパフォーマンスの高い BERT モデルを上回り、より詳細なプロンプトが一般的により良い結果をもたらすことを示しました。
ただし、プロンプトが複雑すぎるとパフォーマンスが低下する可能性があります。
GPT のさまざまなバージョンには、過激派とみなされるものに対する独自の敏感さがあります。
GPT 3.5 は極左過激派の投稿の分類において優れたパフォーマンスを示しましたが、GPT 4 は極右過激派の投稿の分類においてより優れたパフォーマンスを発揮しました。
GPT モデルに代表される大規模な言語モデルは、オンライン過激主義分類タスクにおいて大きな可能性を秘めており、ゼロショット設定では従来の BERT モデルを上回ります。
将来の研究では、過激派のコンテンツを特定するためのより効率的（例：より迅速で労力が少ない）かつ効果的（例：エラーや間違いが少ない）方法を開発するために、過激派の検出および分類タスク用の GPT モデルを最適化する際の人間とコンピューターの相互作用を調査する必要があります。

要約(オリジナル)

The United States has experienced a significant increase in violent extremism, prompting the need for automated tools to detect and limit the spread of extremist ideology online. This study evaluates the performance of Bidirectional Encoder Representations from Transformers (BERT) and Generative Pre-Trained Transformers (GPT) in detecting and classifying online domestic extremist posts. We collected social media posts containing ‘far-right’ and ‘far-left’ ideological keywords and manually labeled them as extremist or non-extremist. Extremist posts were further classified into one or more of five contributing elements of extremism based on a working definitional framework. The BERT model’s performance was evaluated based on training data size and knowledge transfer between categories. We also compared the performance of GPT 3.5 and GPT 4 models using different prompts: na\’ive, layperson-definition, role-playing, and professional-definition. Results showed that the best performing GPT models outperformed the best performing BERT models, with more detailed prompts generally yielding better results. However, overly complex prompts may impair performance. Different versions of GPT have unique sensitives to what they consider extremist. GPT 3.5 performed better at classifying far-left extremist posts, while GPT 4 performed better at classifying far-right extremist posts. Large language models, represented by GPT models, hold significant potential for online extremism classification tasks, surpassing traditional BERT models in a zero-shot setting. Future research should explore human-computer interactions in optimizing GPT models for extremist detection and classification tasks to develop more efficient (e.g., quicker, less effort) and effective (e.g., fewer errors or mistakes) methods for identifying extremist content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google