STEdge: Self-training Edge Detection with Multi-layer Teaching and Regularization

要約

これまで、学習ベースのエッジ検出は、手動で取得するのが面倒なピクセル単位の注釈によって強力に監視されてきました。
私たちは、大規模なラベルなし画像データセットの未開発の富を活用して、自己学習エッジ検出の問題を研究します。
多層の正則化と自己学習を備えた自己教師ありフレームワークを設計します。
特に、入力画像とその摂動された対応物に対して複数のレイヤーのそれぞれからの出力が一貫していることを強制する一貫性正則化を課します。
自己教師あり学習におけるクラスター仮定に続いて、顕著な境界上にあるエッジ予測を促進するために、「摂動」として L0 平滑化を採用します。
一方、ネットワークは、Canny エッジで初期化され、トレーニングの進行に応じてネットワークによって反復的に改良される擬似ラベルによる多層監視でトレーニングされます。
正則化と自己学習を併用すると、精度と再現率のバランスが良くなり、ターゲット データセットの軽量な改良により、教師あり手法に比べてパフォーマンスが大幅に向上します。
さらに、私たちの方法はデータセット間の強力な一般性を示しています。
たとえば、未確認の BIPED データセットでテストした場合、最先端の方法と比較して、ODS で 4.8%、OIS で 5.8% の改善が達成されました。

要約(オリジナル)

Learning-based edge detection has hereunto been strongly supervised with pixel-wise annotations which are tedious to obtain manually. We study the problem of self-training edge detection, leveraging the untapped wealth of large-scale unlabeled image datasets. We design a self-supervised framework with multi-layer regularization and self-teaching. In particular, we impose a consistency regularization which enforces the outputs from each of the multiple layers to be consistent for the input image and its perturbed counterpart. We adopt L0-smoothing as the ‘perturbation’ to encourage edge prediction lying on salient boundaries following the cluster assumption in self-supervised learning. Meanwhile, the network is trained with multi-layer supervision by pseudo labels which are initialized with Canny edges and then iteratively refined by the network as the training proceeds. The regularization and self-teaching together attain a good balance of precision and recall, leading to a significant performance boost over supervised methods, with lightweight refinement on the target dataset. Furthermore, our method demonstrates strong cross-dataset generality. For example, it attains 4.8% improvement for ODS and 5.8% for OIS when tested on the unseen BIPED dataset, compared to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google