Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames

要約

敵対的な情報操作は、公正な選挙を弱体化させ、政策に対する世論を操作し、詐欺を助長することによって、社会を不安定化させる可能性がある。このようなキャンペーンは広く行われ、潜在的な影響を及ぼしているにもかかわらず、メッセージの手作業による分析や、観察可能な行動に対する主観的な解釈によって、その理解は制限されている。本論文では、GPT-3.5をケーススタディとして、大規模言語モデル(LLM)を用いて、協調的なキャンペーンアノテーションを行うことで、これらの制限を緩和できるかどうかを検討する。まず、GPT-3.5を使用して、10年以上にわたる126の識別された情報操作を精査する。LLMとグランドトゥルースの記述の間の（不完全ではあるが）密接な一致を定量化するために、多くのメトリクスを利用する。次に、X（旧Twitter）の2つの大規模な多言語データセットから、それぞれ2022年のフランス選挙と2023年のバリカラン・フィリピン・米軍演習を議論する協調キャンペーンを抽出する。それぞれの協調キャンペーンについて、GPT-3.5を使用して特定の関心事に関連する投稿を分析し、重要なイベント（選挙の日付など）の前後で、目標、戦術、物語フレームを抽出する。GPT-3.5は主観的な解釈と一致しないこともあるが、その要約と解釈の能力は、LLMがテキストから高次の指標を抽出し、情報キャンペーンのより完全な全体像を提供する可能性を、従来の手法と比較して実証している。

要約(オリジナル)

Adversarial information operations can destabilize societies by undermining fair elections, manipulating public opinions on policies, and promoting scams. Despite their widespread occurrence and potential impacts, our understanding of influence campaigns is limited by manual analysis of messages and subjective interpretation of their observable behavior. In this paper, we explore whether these limitations can be mitigated with large language models (LLMs), using GPT-3.5 as a case-study for coordinated campaign annotation. We first use GPT-3.5 to scrutinize 126 identified information operations spanning over a decade. We utilize a number of metrics to quantify the close (if imperfect) agreement between LLM and ground truth descriptions. We next extract coordinated campaigns from two large multilingual datasets from X (formerly Twitter) that respectively discuss the 2022 French election and 2023 Balikaran Philippine-U.S. military exercise in 2023. For each coordinated campaign, we use GPT-3.5 to analyze posts related to a specific concern and extract goals, tactics, and narrative frames, both before and after critical events (such as the date of an election). While the GPT-3.5 sometimes disagrees with subjective interpretation, its ability to summarize and interpret demonstrates LLMs’ potential to extract higher-order indicators from text to provide a more complete picture of the information campaigns compared to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL