Convolutional Neural Networks Rarely Learn Shape for Semantic Segmentation

要約

形状学習、つまり形状情報を活用する機能は、ターゲット オブジェクトが特定の形状を持つ場合、畳み込みニューラル ネットワーク (CNN) の望ましい特性となる可能性があります。
このテーマに関する研究はいくつか出てきていますが、CNN が形状を学習するかどうか、またどのような状況下で学習するかを決定的に決定する体系的な研究はありません。
ここでは、形状が特に重要であるセグメンテーション ネットワークの文脈でそのような研究を紹介します。
私たちは形状を定義し、CNN が形状情報をどの程度利用するかを測定するための新しい行動メトリクスを提案します。
次に、合成データと現実世界のデータを使用して一連の実験を実行し、CNN がどのような状況で形状を学習するのか、またそのような動作を促進するにはどうすればよいのかを徐々に明らかにします。
私たちは、(i) CNN は一般的な設定では形状を学習せず、むしろ対象のオブジェクトを識別するために利用できる他の特徴に依存する、(ii) CNN は形状を学習できるが、その形状がオブジェクトを識別するために利用できる唯一の特徴である場合に限られる、と結論付けます。
、（ｉｉｉ）形状学習には、対象物体の大きさに対して十分に大きな受容野サイズが必要である。
(iv) 限られた拡張セットが形状学習を促進する可能性があります。
(v) 形状の学習は、分布外のデータが存在する場合に実際に役立ちます。

要約(オリジナル)

Shape learning, or the ability to leverage shape information, could be a desirable property of convolutional neural networks (CNNs) when target objects have specific shapes. While some research on the topic is emerging, there is no systematic study to conclusively determine whether and under what circumstances CNNs learn shape. Here, we present such a study in the context of segmentation networks where shapes are particularly important. We define shape and propose a new behavioral metric to measure the extent to which a CNN utilizes shape information. We then execute a set of experiments with synthetic and real-world data to progressively uncover under which circumstances CNNs learn shape and what can be done to encourage such behavior. We conclude that (i) CNNs do not learn shape in typical settings but rather rely on other features available to identify the objects of interest, (ii) CNNs can learn shape, but only if the shape is the only feature available to identify the object, (iii) sufficiently large receptive field size relative to the size of target objects is necessary for shape learning; (iv) a limited set of augmentations can encourage shape learning; (v) learning shape is indeed useful in the presence of out-of-distribution data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google