Emergent Graphical Conventions in a Visual Communication Game

要約

人間は、記号言語とは別に、グラフィカルなスケッチでコミュニケーションをとります。
主に後者に焦点を当てており、創発的コミュニケーションに関する最近の研究はスケッチを見落としています。
それらは、象徴性と象徴性の間のトレードオフで象徴的な記号システムが出現する進化プロセスを説明していません。
この作業では、ビジュアル コミュニケーション ゲームをプレイする 2 つのニューラル エージェントを介して、このプロセスをモデル化し、シミュレートするための最初のステップを踏み出します。
送信者は、キャンバスにスケッチすることで受信者と通信します。
エージェントがコミュニケーションの成功と抽象的なグラフィカルな慣習に向けて共同で進化するように、新しい強化学習方法を考案します。
出現した規則を検証するために、3 つの基本的なプロパティ (象徴性、象徴性、意味性) を定義し、それに応じて評価方法を設計します。
さまざまな制御下での実験結果は、人間のグラフィック慣習の研究における観察と一致しています。
注目すべきは、進化したスケッチが適切な環境圧力の下でセマンティクスの連続体を維持できることです。
さらに興味深いことに、共進化したエージェントは、指示対象への習熟度に基づいて、従来化されたコミュニケーションと象徴的なコミュニケーションを切り替えることができます。
今回の研究がスケッチのモダリティによる創発的コミュニケーションの研究への道を開くことを願っています。

要約(オリジナル)

Humans communicate with graphical sketches apart from symbolic languages. Primarily focusing on the latter, recent studies of emergent communication overlook the sketches; they do not account for the evolution process through which symbolic sign systems emerge in the trade-off between iconicity and symbolicity. In this work, we take the very first step to model and simulate this process via two neural agents playing a visual communication game; the sender communicates with the receiver by sketching on a canvas. We devise a novel reinforcement learning method such that agents are evolved jointly towards successful communication and abstract graphical conventions. To inspect the emerged conventions, we define three fundamental properties — iconicity, symbolicity, and semanticity — and design evaluation methods accordingly. Our experimental results under different controls are consistent with the observation in studies of human graphical conventions. Of note, we find that evolved sketches can preserve the continuum of semantics under proper environmental pressures. More interestingly, co-evolved agents can switch between conventionalized and iconic communication based on their familiarity with referents. We hope the present research can pave the path for studying emergent communication with the modality of sketches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google