Referential communication in heterogeneous communities of pre-trained visual deep networks

要約

事前にトレーニングされた大規模な画像処理ニューラル ネットワークが自動運転車やロボットなどの自律エージェントに組み込まれているため、アーキテクチャやトレーニング体制が異なるにもかかわらず、そのようなシステムが周囲の世界についてどのように相互に通信できるかという疑問が生じます。
この方向への最初のステップとして、私たちは、異種混合の事前訓練済みビジュアル ネットワークのコミュニティにおける \textit{参照コミュニケーション} のタスクを体系的に調査し、自己教師型の方法でネットワークが開発できることを示します。
、候補のセットの中からターゲット オブジェクトを参照するための共有プロトコル。
この共有プロトコルは、粒度が異なるこれまで見えなかったオブジェクト カテゴリについて通信するためにある程度使用することもできます。
さらに、最初は既存のコミュニティの一部ではなかったビジュアル ネットワークでも、コミュニティのプロトコルを驚くほど簡単に学習できます。
最後に、創発プロトコルの特性を定性的および定量的に研究し、それがオブジェクトの高レベルの意味論的特徴を捕捉しているという証拠を提供します。

要約(オリジナル)

As large pre-trained image-processing neural networks are being embedded in autonomous agents such as self-driving cars or robots, the question arises of how such systems can communicate with each other about the surrounding world, despite their different architectures and training regimes. As a first step in this direction, we systematically explore the task of \textit{referential communication} in a community of heterogeneous state-of-the-art pre-trained visual networks, showing that they can develop, in a self-supervised way, a shared protocol to refer to a target object among a set of candidates. This shared protocol can also be used, to some extent, to communicate about previously unseen object categories of different granularity. Moreover, a visual network that was not initially part of an existing community can learn the community’s protocol with remarkable ease. Finally, we study, both qualitatively and quantitatively, the properties of the emergent protocol, providing some evidence that it is capturing high-level semantic features of objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google