Interpretable Semiotics Networks Representing Awareness

要約

人間は毎日物体を認識し、さまざまなチャネルを使用してその認識を伝達します。
ここでは、通信で伝達されるオブジェクトの知覚とその表現を追跡およびシミュレートする計算モデルについて説明します。
私たちの内部表現の 2 つの主要なコンポーネント (「観察された」と「見られた」) を説明し、それらをよく知られたコンピューター ビジョンの概念 (エンコードとデコード) に関連付けます。
これらの要素が結合されて記号論ネットワークが形成され、物体の認識や人間のコミュニケーションにおける意識がシミュレートされます。
現在、ほとんどのニューラル ネットワークは解釈できません。
一方、私たちのモデルはこの制限を克服します。
実験ではモデルの可視性を実証します。
人間による物体認識のモデルにより、ネットワークによる物体認識を定義できるようになります。
ベースライン分類器と追加の層を含む新しいネットワークを構築することにより、画像ベースライン分類器の例でこれを実証します。
この層は、ネットワーク全体によって「知覚」される画像を生成し、それを知覚化された画像分類子に変換します。
私たちのネットワーク内では、内部画像表現が組み立てられ、ランダム化されると、分類タスクの効率が向上します。
私たちの実験では、限られた数の画像で構成される MNIST トレーニング データベース上で、知覚化ネットワークがベースライン分類子を上回りました。
私たちのモデルは人物に限定されず、「内部」表現から「外部」表現への処理を伴うループを特徴とするあらゆるシステムに適用できます。

要約(オリジナル)

Humans perceive objects daily and communicate their perceptions using various channels. Here, we describe a computational model that tracks and simulates objects’ perception and their representations as they are conveyed in communication. We describe two key components of our internal representation (‘observed’ and ‘seen’) and relate them to familiar computer vision notions (encoding and decoding). These elements are joined together to form semiotics networks, which simulate awareness in object perception and human communication. Nowadays, most neural networks are uninterpretable. On the other hand, our model overcomes this limitation. The experiments demonstrates the visibility of the model. Our model of object perception by a person allows us to define object perception by a network. We demonstrate this with an example of an image baseline classifier by constructing a new network that includes the baseline classifier and an additional layer. This layer produces the images ‘perceived’ by the entire network, transforming it into a perceptualized image classifier. Within our network, the internal image representations become more efficient for classification tasks when they are assembled and randomized. In our experiments, the perceptualized network outperformed the baseline classifier on MNIST training databases consisting of a restricted number of images. Our model is not limited to persons and can be applied to any system featuring a loop involving the processing from ‘internal’ to ‘external’ representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google