TUSK: Task-Agnostic Unsupervised Keypoints

要約

キーポイント学習のための既存の教師なしメソッドは、特定のキーポイント タイプ (肘、指、抽象的な幾何学的形状など) が画像に 1 回だけ現れるという仮定に大きく依存しています。
これにより、メソッドを適用する前に各インスタンスを分離する必要があるため、適用性が大幅に制限されます。これは、議論も評価もされていない問題です。
したがって、複数のインスタンスを処理できる、タスクに依存しない教師なしキーポイント (TUSK) を学習するための新しい方法を提案します。
これを達成するために、それぞれが特定のキーポイント タイプ専用の複数のヒートマップを検出する一般的に使用される戦略の代わりに、単一のヒートマップを検出に使用し、クラスタリングを通じてキーポイント タイプの教師なし学習を有効にします。
具体的には、キーポイントとその記述子のまばらなセットから画像を再構築するように教えることで、セマンティクスをキーポイントにエンコードします。記述子は、学習したプロトタイプの周囲の特徴空間で個別のクラスターを形成するように強制されます。
これにより、私たちのアプローチは、以前の教師なしのキーポイント法よりも幅広いタスクに対応できるようになります。複数インスタンスの検出と分類、オブジェクトの発見、およびランドマークの検出に関する実験を示します。
複数のインスタンスを処理することもできます。

要約(オリジナル)

Existing unsupervised methods for keypoint learning rely heavily on the assumption that a specific keypoint type (e.g. elbow, digit, abstract geometric shape) appears only once in an image. This greatly limits their applicability, as each instance must be isolated before applying the method-an issue that is never discussed or evaluated. We thus propose a novel method to learn Task-agnostic, UnSupervised Keypoints (TUSK) which can deal with multiple instances. To achieve this, instead of the commonly-used strategy of detecting multiple heatmaps, each dedicated to a specific keypoint type, we use a single heatmap for detection, and enable unsupervised learning of keypoint types through clustering. Specifically, we encode semantics into the keypoints by teaching them to reconstruct images from a sparse set of keypoints and their descriptors, where the descriptors are forced to form distinct clusters in feature space around learned prototypes. This makes our approach amenable to a wider range of tasks than any previous unsupervised keypoint method: we show experiments on multiple-instance detection and classification, object discovery, and landmark detection-all unsupervised-with performance on par with the state of the art, while also being able to deal with multiple instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google