Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation

要約

自己教師あり学習 (SSL) を使用すると、人間によるラベルなしで複雑な視覚タスクを解決できます。
自己教師あり表現は画像に関する有用なセマンティック情報をエンコードするため、教師なしセマンティック セグメンテーションなどのタスクにすでに使用されています。
この論文では、手動による注釈を一切使用しないセグメンテーションなどの自己教師あり表現を調査します。
さまざまな SSL メソッドの機能は、インスタンス認識のレベルが異なることがわかりました。
特に、優れた意味記述子であることが知られている DINO 機能は、インスタンスを分離する感度において MAE 機能に劣っています。

要約(オリジナル)

Self-supervised learning (SSL) can be used to solve complex visual tasks without human labels. Self-supervised representations encode useful semantic information about images, and as a result, they have already been used for tasks such as unsupervised semantic segmentation. In this paper, we investigate self-supervised representations for instance segmentation without any manual annotations. We find that the features of different SSL methods vary in their level of instance-awareness. In particular, DINO features, which are known to be excellent semantic descriptors, lack behind MAE features in their sensitivity for separating instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google