Caution for the Environment: Multimodal Agents are Susceptible to Environmental Distractions

要約

この論文は、マルチモーダル GUI エージェントが環境コンテキストによって気を散らされる可能性があるかどうかという研究課題に取り組むことを目的として、グラフィカル ユーザー インターフェイス (GUI) 環境におけるマルチモーダル大規模言語モデル (MLLM) エージェントの忠実性を調査します。
ユーザーとエージェントの両方が無害であり、環境には悪意はないものの無関係なコンテンツが含まれる一般的な設定が提案されています。
さまざまな MLLM が、異なる認識レベルの 3 つの動作パターンに従って、シミュレートされたデータセットを使用して GUI エージェントとして評価されます。
実験結果によると、ジェネラリスト エージェントであろうとスペシャリスト GUI エージェントであろうと、最も強力なモデルであっても注意散漫の影響を受けやすいことが明らかになりました。
最近の研究は主にマルチモーダルエージェントの有用性（つまり、行動の正確さ）に焦点を当てていますが、私たちの調査結果は、これらのエージェントが環境に注意を逸らされやすく、その結果不誠実な行動を引き起こすことを示しています。
さらに、敵対的な視点に切り替えて環境注入を実行し、そのような不正行為が悪用され、予期せぬリスクにつながる可能性があることを示しています。

要約(オリジナル)

This paper investigates the faithfulness of multimodal large language model (MLLM) agents in the graphical user interface (GUI) environment, aiming to address the research question of whether multimodal GUI agents can be distracted by environmental context. A general setting is proposed where both the user and the agent are benign, and the environment, while not malicious, contains unrelated content. A wide range of MLLMs are evaluated as GUI agents using our simulated dataset, following three working patterns with different levels of perception. Experimental results reveal that even the most powerful models, whether generalist agents or specialist GUI agents, are susceptible to distractions. While recent studies predominantly focus on the helpfulness (i.e., action accuracy) of multimodal agents, our findings indicate that these agents are prone to environmental distractions, resulting in unfaithful behaviors. Furthermore, we switch to the adversarial perspective and implement environment injection, demonstrating that such unfaithfulness can be exploited, leading to unexpected risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google