Emergent Communication with Attention

要約

独自の創発言語を使用してより適切にコミュニケーションできる計算エージェントを開発するために、環境内の特定の概念に注意を集中できる能力をエージェントに与えます。
人間は多くの場合、オブジェクトやシーンを概念の複合体として理解し、それらの概念がさらに言葉にマッピングされます。
我々はこの直観を、参照ゲームにおける話し手エージェントと聞き手エージェントのクロスモーダル注意メカニズムとして実装し、注意がより構成的で解釈可能な創発言語につながることを示します。
また、各メッセージ シンボルに関連付けられた注意の重みと、話し手エージェントと聞き手エージェントの間の注意の重みの調整を調査することにより、学習された通信プロトコルの理解に注意がどのように役立つかを示します。
全体として、我々の結果は、注意がより人間らしい創発言語を開発するための有望なメカニズムであることを示唆しています。

要約(オリジナル)

To develop computational agents that better communicate using their own emergent language, we endow the agents with an ability to focus their attention on particular concepts in the environment. Humans often understand an object or scene as a composite of concepts and those concepts are further mapped onto words. We implement this intuition as cross-modal attention mechanisms in Speaker and Listener agents in a referential game and show attention leads to more compositional and interpretable emergent language. We also demonstrate how attention aids in understanding the learned communication protocol by investigating the attention weights associated with each message symbol and the alignment of attention weights between Speaker and Listener agents. Overall, our results suggest that attention is a promising mechanism for developing more human-like emergent language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google