Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images

要約

単一の 2D 画像から、キーポイントに関してオブジェクトの 3D 形状とポーズを推定する問題を研究します。
形状とポーズは、カテゴリによって収集された画像とその部分的な 2D キーポイント アノテーションから直接学習されます。この作業では、中間の 2D キーポイント抽出と最終的な 3D 形状とポーズ推定のためのエンド ツー エンドのトレーニング フレームワークを最初に提案します。
次に、提案されたフレームワークは、中間の 2D キーポイントの弱い監督のみを使用してトレーニングされます。
さらに、ラベル付けされたデータとラベル付けされていないデータの両方から恩恵を受ける半教師付きトレーニング フレームワークを考案しました。
ラベル付けされていないデータを活用するために、標準的なオブジェクト形状の前に\emph{ピースワイズ平面ハル}を導入して活用します。
これらの平面ハルは、キーポイントを使用して、オブジェクト カテゴリごとに 1 回手動で定義されます。
一方では、提案された方法は、ラベル付けされたデータからこれらの平面ハルをセグメント化することを学習します。
一方、予測されたキーポイントとラベル付けされていないデータのセグメント化されたハルの間の一貫性を同時に強制します。
強制された一貫性により、当面のタスクにラベル付けされていないデータを効率的に使用できます。
提案された方法は、注釈の半分のみを使用して、完全に監視された最先端の方法で同等の結果を達成します。
ソースコードは公開されます。

要約(オリジナル)

We study the problem of estimating 3D shape and pose of an object in terms of keypoints, from a single 2D image. The shape and pose are learned directly from images collected by categories and their partial 2D keypoint annotations.. In this work, we first propose an end-to-end training framework for intermediate 2D keypoints extraction and final 3D shape and pose estimation. The proposed framework is then trained using only the weak supervision of the intermediate 2D keypoints. Additionally, we devise a semi-supervised training framework that benefits from both labeled and unlabeled data. To leverage the unlabeled data, we introduce and exploit the \emph{piece-wise planar hull} prior of the canonical object shape. These planar hulls are defined manually once per object category, with the help of the keypoints. On the one hand, the proposed method learns to segment these planar hulls from the labeled data. On the other hand, it simultaneously enforces the consistency between predicted keypoints and the segmented hulls on the unlabeled data. The enforced consistency allows us to efficiently use the unlabeled data for the task at hand. The proposed method achieves comparable results with fully supervised state-of-the-art methods by using only half of the annotations. Our source code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google