Few-shot Geometry-Aware Keypoint Localization

要約

タイトル：Few-shot Geometry-Aware Keypoint Localization

要約：
– 教師ありキーポイントローカリゼーションの手法は、物体が変形、関節化、または遮蔽されることがある大規模な手動ラベル付き画像データセットに依存しています。
– しかし、このような大規模なキーポイントラベルを作成することは、時間がかかり、コストがかかり、一貫したラベリングができないため、誤りが発生します。
– このため、より少ない数の一貫した注釈付き画像でキーポイントローカリゼーションを学習できるアプローチを望んでいます。
– この問題に対処するために、本論文では、セマンティック形状制約を有する、さまざまなオブジェクトカテゴリのオクルージョン領域に対してもセマンティック一貫性のあるキーポイント定義を学習する新しい方法を提案しています。
– 入力例として、わずかなユーザーラベル付き2Dイメージを使用し、大規模な未ラベルのデータセットを用いた自己教師あり学習によって拡張します。
– さらに、3Dジオメトリに関する制約を導入することで、キーポイントを持ち上げ、より正確な2Dローカリゼーションを実現します。
– この一般的な形式は、セマンティック条件付き生成モデリングへの道を開き、ヒトの顔、目、動物、車、前例のない口内（歯）ローカリゼーションタスクを含むいくつかのデータセットで競争力のあるまたは最新の精度を達成し、前のfew-shot方法では試みられていないものとなっています。

要約(オリジナル)

Supervised keypoint localization methods rely on large manually labeled image datasets, where objects can deform, articulate, or occlude. However, creating such large keypoint labels is time-consuming and costly, and is often error-prone due to inconsistent labeling. Thus, we desire an approach that can learn keypoint localization with fewer yet consistently annotated images. To this end, we present a novel formulation that learns to localize semantically consistent keypoint definitions, even for occluded regions, for varying object categories. We use a few user-labeled 2D images as input examples, which are extended via self-supervision using a larger unlabeled dataset. Unlike unsupervised methods, the few-shot images act as semantic shape constraints for object localization. Furthermore, we introduce 3D geometry-aware constraints to uplift keypoints, achieving more accurate 2D localization. Our general-purpose formulation paves the way for semantically conditioned generative modeling and attains competitive or state-of-the-art accuracy on several datasets, including human faces, eyes, animals, cars, and never-before-seen mouth interior (teeth) localization tasks, not attempted by the previous few-shot methods. Project page: https://xingzhehe.github.io/FewShot3DKP/}{https://xingzhehe.github.io/FewShot3DKP/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI