A Cost Analysis of Generative Language Models and Influence Operations

要約

最近の大規模言語モデル (LLM) は、影響力作戦の質や規模を向上させるために悪意を持って使用されている可能性が高いという憶測にもかかわらず、LLM がプロパガンダに提供する経済的価値については不確実性が残っています。
この研究では、大規模なコンテンツ生成のためにプロパガンダ活動家が直面するコストのモデルを構築し、(1) LLM がプロパガンダ活動家に提供できる潜在的な節約、(2) API アクセス可能な LLM に対する監視制御の潜在的な抑止効果、(3) 最適なコストの分析を行います。
影響力作戦を実行する際に、宣伝活動家が複数のプライベート LLM および/またはオープンソース LLM を選択するための戦略。
主な結果は、プロパガンダにコスト削減を提供するには、LLM が比較的低い信頼性 (約 25%) で使用可能な出力を生成するだけでよいこと、コンテンツ生成コストの潜在的な削減効果はかなり高くなる可能性があること (信頼性の高いモデルでは最大 70%) を示唆しています。
また、代替のオープンソース モデルが利用可能な場合、監視機能のコスト負担効果は大幅に制限されます。
さらに、これらの結果は、国民国家が、年間に多くの大規模な影響力作戦を実施している国であっても、影響力操作に特化したカスタム LLM のトレーニングから経済的な利益を得られる可能性は低いことを示唆しています。

要約(オリジナル)

Despite speculation that recent large language models (LLMs) are likely to be used maliciously to improve the quality or scale of influence operations, uncertainty persists regarding the economic value that LLMs offer propagandists. This research constructs a model of costs facing propagandists for content generation at scale and analyzes (1) the potential savings that LLMs could offer propagandists, (2) the potential deterrent effect of monitoring controls on API-accessible LLMs, and (3) the optimal strategy for propagandists choosing between multiple private and/or open source LLMs when conducting influence operations. Primary results suggest that LLMs need only produce usable outputs with relatively low reliability (roughly 25%) to offer cost savings to propagandists, that the potential reduction in content generation costs can be quite high (up to 70% for a highly reliable model), and that monitoring capabilities have sharply limited cost imposition effects when alternative open source models are available. In addition, these results suggest that nation-states — even those conducting many large-scale influence operations per year — are unlikely to benefit economically from training custom LLMs specifically for use in influence operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google