What Does the Bot Say? Opportunities and Risks of Large Language Models in Social Media Bot Detection

要約

ソーシャル メディア ボットの検出は常に、機械学習ボット検出器の進歩と、検出を回避するための敵対的ボット戦略との間の軍拡競争でした。
この研究では、ソーシャル ボット検出における最先端の大規模言語モデル (LLM) の機会とリスクを調査することで、軍拡競争を次のレベルに引き上げます。
この機会を調査するために、多様なユーザー情報モダリティを分割および征服するための異種専門家の混合フレームワークを提案することにより、新しい LLM ベースのボット検出器を設計します。
リスクを明らかにするために、検出を回避するためにユーザーのテキスト情報と構造化情報を LLM に基づいて操作する可能性を調査します。
2 つのデータセットで 3 つの LLM を使用した広範な実験により、わずか 1,000 個の注釈付きサンプルで命令をチューニングするだけで、両方のデータセットで最先端のベースラインを最大 9.1% 上回る特殊な LLM が生成される一方、LLM ガイド付き操作戦略ではパフォーマンスが大幅に低下する可能性があることが実証されました。
既存のボット検出器のパフォーマンスが最大 29.6% 低下し、ボット検出システムの調整と信頼性が損なわれます。

要約(オリジナル)

Social media bot detection has always been an arms race between advancements in machine learning bot detectors and adversarial bot strategies to evade detection. In this work, we bring the arms race to the next level by investigating the opportunities and risks of state-of-the-art large language models (LLMs) in social bot detection. To investigate the opportunities, we design novel LLM-based bot detectors by proposing a mixture-of-heterogeneous-experts framework to divide and conquer diverse user information modalities. To illuminate the risks, we explore the possibility of LLM-guided manipulation of user textual and structured information to evade detection. Extensive experiments with three LLMs on two datasets demonstrate that instruction tuning on merely 1,000 annotated examples produces specialized LLMs that outperform state-of-the-art baselines by up to 9.1% on both datasets, while LLM-guided manipulation strategies could significantly bring down the performance of existing bot detectors by up to 29.6% and harm the calibration and reliability of bot detection systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google