Pragmatic Reasoning in Structured Signaling Games

要約

この研究では、コンテキスト内の意味間の類似構造を備えた古典的なシグナリング ゲームの拡張である構造化シグナリング ゲームと、構造化 RSA (sRSA) と呼ばれる Rational Speech Act (RSA) フレームワークのバリアントを導入します。
構造化ドメインにおける実用的な推論。
私たちは、色の領域における sRSA の動作を調査し、World Color Survey から得られた意味表現に加えて sRSA を使用するプラグマティック エージェントが、わずか 1 レベルまたは 2 レベルの再帰で情報理論の限界に非常に近い効率を達成することを示します。
また、実際的な推論とマルチエージェント強化学習フレームワークにおける学習の間の相互作用についても調査します。
私たちの結果は、sRSA を使用する人工エージェントは、RSA と単なる強化学習を使用するエージェントと比較して、情報理論のフロンティアに近いコミュニケーションを開発することを示しています。
また、学習中にプラグマティックエージェントがお互いについてより深い推論を実行できるようになると、意味表現の曖昧さが増加することもわかりました。

要約(オリジナル)

In this work we introduce a structured signaling game, an extension of the classical signaling game with a similarity structure between meanings in the context, along with a variant of the Rational Speech Act (RSA) framework which we call structured-RSA (sRSA) for pragmatic reasoning in structured domains. We explore the behavior of the sRSA in the domain of color and show that pragmatic agents using sRSA on top of semantic representations, derived from the World Color Survey, attain efficiency very close to the information theoretic limit after only 1 or 2 levels of recursion. We also explore the interaction between pragmatic reasoning and learning in multi-agent reinforcement learning framework. Our results illustrate that artificial agents using sRSA develop communication closer to the information theoretic frontier compared to agents using RSA and just reinforcement learning. We also find that the ambiguity of the semantic representation increases as the pragmatic agents are allowed to perform deeper reasoning about each other during learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google