The Curious Case of Representational Alignment: Unravelling Visio-Linguistic Tasks in Emergent Communication

要約

自然言語には、構成的であり、現実に基づいているという普遍的な特性があります。
言語特性の出現は、多くの場合、参照ゲームにおける創発コミュニケーションのシミュレーションを通じて調査されます。
しかし、これらの実験は、人間の言語の言語特性を扱う同様の実験と比較して、さまざまな結果をもたらしました。
ここでは、これらの結果に寄与する可能性のある要因として、表現上の調整について取り上げます。
具体的には、エージェントの画像表現間、およびエージェント表現と入力画像の間の表現上の整合性を評価します。
そうすることで、エージェント間の整合性が高まる一方で、エージェントの画像表現が入力から離れていくため、創発言語が人間のような概念的な視覚的特徴をエンコードしているようには見えないことが確認されました。
さらに、エージェント間の連携と、構成性の一般的な指標である地形的類似性との間の強い関係を特定し、その結果に対処します。
これらの問題に対処するために、表現のドリフトを防ぐアラインメント ペナルティを導入しますが、興味深いことに、組成識別タスクのパフォーマンスは向上しません。
まとめると、私たちの発見は、言語の出現のシミュレーションにおいて表現の調整が重要な役割を果たすことを強調しています。

要約(オリジナル)

Natural language has the universal properties of being compositional and grounded in reality. The emergence of linguistic properties is often investigated through simulations of emergent communication in referential games. However, these experiments have yielded mixed results compared to similar experiments addressing linguistic properties of human language. Here we address representational alignment as a potential contributing factor to these results. Specifically, we assess the representational alignment between agent image representations and between agent representations and input images. Doing so, we confirm that the emergent language does not appear to encode human-like conceptual visual features, since agent image representations drift away from inputs whilst inter-agent alignment increases. We moreover identify a strong relationship between inter-agent alignment and topographic similarity, a common metric for compositionality, and address its consequences. To address these issues, we introduce an alignment penalty that prevents representational drift but interestingly does not improve performance on a compositional discrimination task. Together, our findings emphasise the key role representational alignment plays in simulations of language emergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google