Implicit Repair with Reinforcement Learning in Emergent Communication

要約

会話の修理は、2人以上のエージェントが相互作用したときの誤りと情報の問題を検出および解決するために使用されるメカニズムです。
緊急コミュニケーションにおける特定の未解除の修復形式の1つは暗黙的な修復メカニズムであり、対話者は他の対話者からの誤った情報を防ぐような方法で望ましい情報を意図的に伝えます。
この作業では、冗長性が緊急通信プロトコルを変更して、騒音などの追加の外部環境圧力があっても、基礎となるタスクを完了するために必要な情報を伝え続ける方法を探ります。
エージェントが受け取った通信チャネルと入力にノイズを追加することにより、ルイスゲームと呼ばれるシグナリングゲームの拡張に焦点を当てています。
私たちの分析は、エージェントが転送されたメッセージに冗長性を結果として追加して、タスクの成功に対するノイズの悪影響を防ぐことを示しています。
さらに、新しい通信プロトコルの一般化機能は、完全に決定論的なよりシンプルなゲームで採用されているアーキテクチャと同等のままであることがわかります。
さらに、私たちの方法は、一般化パフォーマンスレベルの増加を維持しながら、ノイズの有無にかかわらずケースを処理できる堅牢な通信プロトコルを生成するのに適した唯一の方法です。

要約(オリジナル)

Conversational repair is a mechanism used to detect and resolve miscommunication and misinformation problems when two or more agents interact. One particular and underexplored form of repair in emergent communication is the implicit repair mechanism, where the interlocutor purposely conveys the desired information in such a way as to prevent misinformation from any other interlocutor. This work explores how redundancy can modify the emergent communication protocol to continue conveying the necessary information to complete the underlying task, even with additional external environmental pressures such as noise. We focus on extending the signaling game, called the Lewis Game, by adding noise in the communication channel and inputs received by the agents. Our analysis shows that agents add redundancy to the transmitted messages as an outcome to prevent the negative impact of noise on the task success. Additionally, we observe that the emerging communication protocol’s generalization capabilities remain equivalent to architectures employed in simpler games that are entirely deterministic. Additionally, our method is the only one suitable for producing robust communication protocols that can handle cases with and without noise while maintaining increased generalization performance levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google