DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering

要約

画像のセグメンテーションは、コンピューター ビジョンの基本的なタスクです。
教師ありメソッドをトレーニングするためのデータ注釈は、労働集約的であり、教師なしメソッドの動機となる可能性があります。
一部の既存のアプローチでは、事前トレーニング済みのネットワークから深い特徴を抽出し、グラフを作成して、後処理段階として従来のクラスタリング手法 ($k$-means や正規化カットなど) を適用します。
これらの手法は、フィーチャにエンコードされた高次元情報をペアワイズ スカラー アフィニティに減らします。
この作業では、従来のクラスタリング アルゴリズムを、同じクラスタリング目的関数を達成するようにトレーニングされた軽量のグラフ ニューラル ネットワーク (GNN) に置き換えます。
ただし、既存のアプローチとは対照的に、ローカル画像機能間のペアワイズ アフィニティだけでなく、生の機能自体も GNN にフィードします。
生の特徴とクラスタリングの目標の間のこの接続を維持することで、追加の後処理手順を必要とせずに、部分のセマンティック セグメンテーションを暗黙的に実行できます。
画像セグメンテーション GNN をトレーニングするために、古典的なクラスタリングの目的を自己教師付き損失関数として定式化する方法を示します。
さらに、相関クラスタリング (CC) オブジェクティブを使用して、クラスタ数を定義せずにクラスタリングを実行します ($k$ レス クラスタリング)。
オブジェクトのローカリゼーション、セグメンテーション、およびセマンティック部分のセグメンテーション タスクに提案された方法を適用し、複数のベンチマークで最先端のパフォーマンスを上回ります。

要約(オリジナル)

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Some existing approaches extract deep features from pre-trained networks and build a graph to apply classical clustering methods (e.g., $k$-means and normalized-cuts) as a post-processing stage. These techniques reduce the high-dimensional information encoded in the features to pair-wise scalar affinities. In this work, we replace classical clustering algorithms with a lightweight Graph Neural Network (GNN) trained to achieve the same clustering objective function. However, in contrast to existing approaches, we feed the GNN not only the pair-wise affinities between local image features but also the raw features themselves. Maintaining this connection between the raw feature and the clustering goal allows to perform part semantic segmentation implicitly, without requiring additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training our image segmentation GNN. Additionally, we use the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters ($k$-less clustering). We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google