Talk Less, Interact Better: Evaluating In-context Conversational Adaptation in Multimodal LLMs

要約

人間は相互作用が進むにつれて、アドホックな慣習を適応・形成することで、ますます効率的な言語を自発的に使用するようになる。この現象は、参照ゲームを用いて広く研究されており、意思の伝達を超えた人間の言語の特性が示されている。マルチモーダル大規模言語モデル(MLLM)がインタラクション中のコミュニケーション効率を同様に向上させるかどうか、またそのためにどのようなメカニズムを採用するかについては、まだ未解明である。本稿では、MLLMの文脈内行動としての会話適応を評価する自動フレームワークICCAを紹介する。我々はいくつかの最先端のMLLMを評価し、MLLMは対話者の言語が次第に効率的になっていくことを理解することはできても、時間が経つにつれて自発的に自分自身の言語をより効率的にすることはないことを観察した。この後者の能力は、いくつかのモデル（例えばGPT-4）では、強引なプロンプトによってのみ引き出すことができる。このことは、言語的相互作用のこの性質が、人間の言語に共通する特徴であるにもかかわらず、現在の訓練レジームからは生じないことを示している。ICCAはhttps://github.com/lil-lab/ICCA。

要約(オリジナル)

Humans spontaneously use increasingly efficient language as interactions progress, by adapting and forming ad-hoc conventions. This phenomenon has been studied extensively using reference games, showing properties of human language that go beyond relaying intents. It remains unexplored whether multimodal large language models (MLLMs) similarly increase communication efficiency during interactions, and what mechanisms they may adopt for this purpose. We introduce ICCA, an automated framework to evaluate such conversational adaptation as an in-context behavior in MLLMs. We evaluate several state-of-the-art MLLMs, and observe that while they may understand the increasingly efficient language of their interlocutor, they do not spontaneously make their own language more efficient over time. This latter ability can only be elicited in some models (e.g., GPT-4) with heavy-handed prompting. This shows that this property of linguistic interaction does not arise from current training regimes, even though it is a common hallmark of human language. ICCA is available at https://github.com/lil-lab/ICCA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL