Is the U-Net Directional-Relationship Aware?

要約

CNNはしばしば、その受容野内の異なる物体に関する文脈情報（例えば、それらの方向関係）を利用することができると仮定される。しかし、この能力の性質と限界はこれまで完全に調査されたことはない。我々は、セグメンテーションのためのクロスエントロピー損失関数を最適化するように訓練された標準的なU-Netを用いて、特定のタイプの関係～方向性～を探索する。我々はこのネットワークを、成功のために方向性の推論を必要とする前文セグメンテーションタスクで訓練し、十分なデータと十分に大きな受容野があれば、提案タスクの学習に成功することを示す。さらに、方向関係が擾乱されたシナリオを分析することにより、ネットワークが何を学習したかを探り、ネットワークがこれらの関係を用いて推論することを学習したことを示す。

要約(オリジナル)

CNNs are often assumed to be capable of using contextual information about distinct objects (such as their directional relations) inside their receptive field. However, the nature and limits of this capacity has never been explored in full. We explore a specific type of relationship~– directional~– using a standard U-Net trained to optimize a cross-entropy loss function for segmentation. We train this network on a pretext segmentation task requiring directional relation reasoning for success and state that, with enough data and a sufficiently large receptive field, it succeeds to learn the proposed task. We further explore what the network has learned by analysing scenarios where the directional relationships are perturbed, and show that the network has learned to reason using these relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL