Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation

要約

タイトル: 教師なし意味的セグメンテーションのためのニューラル固有関数学習
要約:
– 教師なし意味的セグメンテーションとは、異なるクラスに属するピクセルを区別するために使用されるプロセスであり、コンピュータビジョンにおいて長年の課題である。
– スペクトルクラスタリングは、ピクセルのスペクトル埋め込みを計算して異なるクラスタを構成するという理論的に根拠のある解決策である。しかし、現在のアプローチではスペクトル分解の非効率性やテストデータへの適用の柔軟性の欠如などの問題がある。
– この研究では、スペクトルクラスタリングをニューラルネットワークを用いた固有関数を使ってスペクトル埋め込みを生成するパラメトリックなアプローチとして位置付け、ニューラル固有関数の出力を直接クラスタリングアサインメントを示す離散ベクトルに制限している。その結果、エンドツーエンドのニューラルネットワークベースのスペクトルクラスタリングが出現する。
– 実際には、ニューラル固有関数は軽量であり、事前学習モデルの特徴を入力として受け取り、トレーニング効率を向上させ、密な予測のために事前学習モデルの可能性を引き出すことができる。
– Pascal Context、Cityscapes、ADE20Kのベンチマークを用いた幅広い実証的研究によって、本手法の有効性が検証され、競合するベースラインよりも大幅な性能向上が観察された。

要約(オリジナル)

Unsupervised semantic segmentation is a long-standing challenge in computer vision with great significance. Spectral clustering is a theoretically grounded solution to it where the spectral embeddings for pixels are computed to construct distinct clusters. Despite recent progress in enhancing spectral clustering with powerful pre-trained models, current approaches still suffer from inefficiencies in spectral decomposition and inflexibility in applying them to the test data. This work addresses these issues by casting spectral clustering as a parametric approach that employs neural network-based eigenfunctions to produce spectral embeddings. The outputs of the neural eigenfunctions are further restricted to discrete vectors that indicate clustering assignments directly. As a result, an end-to-end NN-based paradigm of spectral clustering emerges. In practice, the neural eigenfunctions are lightweight and take the features from pre-trained models as inputs, improving training efficiency and unleashing the potential of pre-trained models for dense prediction. We conduct extensive empirical studies to validate the effectiveness of our approach and observe significant performance gains over competitive baselines on Pascal Context, Cityscapes, and ADE20K benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI