Catalytic Role Of Noise And Necessity Of Inductive Biases In The Emergence Of Compositional Communication

要約

複雑な信号がより単純な部分部分の組み合わせとして表現できる場合、コミュニケーションは構成的である。本論文では、訓練フレームワークとデータの双方に帰納的バイアスが必要であることを理論的に示す。さらに、エージェントがノイズの多いチャネル上で通信を行うシグナリングゲームにおいて、構成性が自発的に生じることを証明する。モデルとデータに依存するノイズレベルの範囲が、実際に構成性を促進することを実験的に確認した。最後に、この依存性の包括的な研究を行い、最近研究された構成性の指標である地形的類似性、競合回数、文脈独立性の観点から結果を報告する。

要約(オリジナル)

Communication is compositional if complex signals can be represented as a combination of simpler subparts. In this paper, we theoretically show that inductive biases on both the training framework and the data are needed to develop a compositional communication. Moreover, we prove that compositionality spontaneously arises in the signaling games, where agents communicate over a noisy channel. We experimentally confirm that a range of noise levels, which depends on the model and the data, indeed promotes compositionality. Finally, we provide a comprehensive study of this dependence and report results in terms of recently studied compositionality metrics: topographical similarity, conflict count, and context independence.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL