Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind

要約

対話の参加者は、議論中のトピックについてさまざまなレベルの知識を持っている可能性があります。
このような場合、話者は聴衆を考慮して自分の発言を調整することが不可欠です。
しかし、そのような適応を計算エージェントでどのようにモデル化できるかは未解決の問題です。
この論文では、知識豊富な話し手と、より限られた視覚的および言語的経験を持つ聞き手の間で、視覚に基づいた参照ゲームをモデル化します。
心理言語理論に触発され、計画された発話の有効性を聞き手の視点から監視するシミュレーション モジュールを介して、話者に指示表現を適応させる能力を与えます。
我々は、制御された言語生成へのプラグアンドプレイアプローチに基づいて構築された適応メカニズムを提案します。このメカニズムでは、発話生成は、話者の基礎となる言語モデルを微調整することなく、シミュレータによってオンザフライで操作されます。
私たちの結果と分析は、私たちのアプローチが効果的であることを示しています。つまり、話し手の発話が聞き手の専門領域に近づき、コミュニケーションの成功率が高くなります。

要約(オリジナル)

Dialogue participants may have varying levels of knowledge about the topic under discussion. In such cases, it is essential for speakers to adapt their utterances by taking their audience into account. Yet, it is an open question how such adaptation can be modelled in computational agents. In this paper, we model a visually grounded referential game between a knowledgeable speaker and a listener with more limited visual and linguistic experience. Inspired by psycholinguistic theories, we endow our speaker with the ability to adapt its referring expressions via a simulation module that monitors the effectiveness of planned utterances from the listener’s perspective. We propose an adaptation mechanism building on plug-and-play approaches to controlled language generation, where utterance generation is steered on the fly by the simulator without finetuning the speaker’s underlying language model. Our results and analyses show that our approach is effective: the speaker’s utterances become closer to the listener’s domain of expertise, which leads to higher communicative success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google