Referential communication in heterogeneous communities of pre-trained visual deep networks

要約

大規模な事前トレーニング済みの画像処理ニューラル ネットワークが自動運転車やロボットなどの自律型エージェントに組み込まれているため、アーキテクチャやトレーニング方式が異なるにもかかわらず、そのようなシステムが周囲の世界についてどのように相互に通信できるかという問題が生じます。
この方向への最初のステップとして、最先端の事前トレーニング済みビジュアル ネットワークのコミュニティにおける参照通信のタスクを体系的に調査し、セット内のターゲット画像を参照するための共有プロトコルを開発できることを示します。
候補の。
このような共有プロトコルは、自己管理型の方法で誘導され、以前は見えなかったオブジェクト カテゴリについて通信したり、元のネットワークに教えられたカテゴリと比較してより細かく区別したりするためにある程度使用できます。
マルチエージェントの創発的コミュニケーション研究における一般的な見解に反して、コミュニケーションに個別のボトルネックを課すと、一般的なコードの出現が妨げられることがわかります。
さらに、新しいニューラル ネットワークはコミュニティで開発された共有プロトコルを非常に簡単に学習できること、および新しいエージェントをコミュニティに統合するプロセスは、元のコミュニティに異種ネットワークのより大きなセットが含まれている場合に、より安定して成功することを示します。
最後に、共有通信層を使用してオブジェクト分類子をネットワークから別のネットワークに直接転送することによって、共有通信層を開発することの独立した利点を示し、その創発的特性を質的および量的に研究します。

要約(オリジナル)

As large pre-trained image-processing neural networks are being embedded in autonomous agents such as self-driving cars or robots, the question arises of how such systems can communicate with each other about the surrounding world, despite their different architectures and training regimes. As a first step in this direction, we systematically explore the task of referential communication in a community of state-of-the-art pre-trained visual networks, showing that they can develop a shared protocol to refer to a target image among a set of candidates. Such shared protocol, induced in a self-supervised way, can to some extent be used to communicate about previously unseen object categories, as well as to make more granular distinctions compared to the categories taught to the original networks. Contradicting a common view in multi-agent emergent communication research, we find that imposing a discrete bottleneck on communication hampers the emergence of a general code. Moreover, we show that a new neural network can learn the shared protocol developed in a community with remarkable ease, and the process of integrating a new agent into a community more stably succeeds when the original community includes a larger set of heterogeneous networks. Finally, we illustrate the independent benefits of developing a shared communication layer by using it to directly transfer an object classifier from a network to another, and we qualitatively and quantitatively study its emergent properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google