Towards Learning to Speak and Hear Through Multi-Agent Communication over a Continuous Acoustic Channel

要約

タイトル：連続的な音響チャネルを通じた多エージェントコミュニケーションを介して話すことと聞くことの学習に向けて

要約：

– 多エージェント強化学習は、エージェント間の新興コミュニケーション研究の有効な手段として使用されていますが、連続的な音響コミュニケーションに対する注目はほとんどありません。
– これは人間の言語習得により近いものであるため、私たちは次のように尋ねます。「連続した通信チャネルを介してエージェント間で新奇な言語が発生するのか？」
– 私たちの目標は、人間とエージェントのコミュニケーションの間隔を埋めるプラットフォームを提供することにあります。これにより、連続的な信号、その発生方法、特性、および人間の言語習得との関係を分析することができます。
– 我々は、スピーカーエージェントがノイズのある音響チャネルを介してリスナーに一連の属性を伝える必要があるメッセージング環境を提案します。
– DQNを使用してエージェントを訓練することで、次のことを示します：（1）離散的な場合とは異なり、音声スピーカーはリスナーの一貫性を向上させるために冗長性を学びます。（2）音声スピーカーは、ノイジーなチャネル上での伝送エラーを暗黙的に補償するより複合的なコミュニケーションプロトコルを開発します。（3）前の方法で最適化されたREINFORCEと比較した場合、DQNは顕著な性能向上と組み合わせ性の向上を示します。

要約(オリジナル)

Multi-agent reinforcement learning has been used as an effective means to study emergent communication between agents, yet little focus has been given to continuous acoustic communication. This would be more akin to human language acquisition; human infants acquire language in large part through continuous signalling with their caregivers. We therefore ask: Are we able to observe emergent language between agents with a continuous communication channel? Our goal is to provide a platform to begin bridging the gap between human and agent communication, allowing us to analyse continuous signals, how they emerge, their characteristics, and how they relate to human language acquisition. We propose a messaging environment where a Speaker agent needs to convey a set of attributes to a Listener over a noisy acoustic channel. Using DQN to train our agents, we show that: (1) unlike the discrete case, the acoustic Speaker learns redundancy to improve Listener coherency, (2) the acoustic Speaker develops more compositional communication protocols which implicitly compensates for transmission errors over a noisy channel, and (3) DQN has significant performance gains and increased compositionality when compared to previous methods optimised using REINFORCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI