Pushing the Envelope for Depth-Based Semi-Supervised 3D Hand Pose Estimation with Consistency Training

要約

近年、深度ベースの 3D ハンドポーズ推定方法が大幅に進歩したにもかかわらず、高精度を達成するには、依然として大量のラベル付きトレーニング データが必要です。
ただし、そのようなデータを収集するには、コストと時間がかかります。
この問題に取り組むために、ラベル付きトレーニング データへの依存を大幅に削減する半教師あり方法を提案します。
提案された方法は、共同でトレーニングされた 2 つの同一のネットワーク (教師ネットワークと生徒ネットワーク) で構成されます。
教師ネットワークは、使用可能なラベル付きサンプルとラベルなしサンプルの両方を使用してトレーニングされます。
これは、一連のアフィン変換の下で推定の等分散性を促進する損失定式化を介して、ラベルのないサンプルを活用します。
生徒のネットワークは、教師のネットワークによって提供された疑似ラベルを持つラベルのないサンプルを使用してトレーニングされます。
テスト時の推論には、学生ネットワークのみが使用されます。
広範な実験により、提案された方法が最先端の半教師付き方法よりも大幅に優れていることが示されています。

要約(オリジナル)

Despite the significant progress that depth-based 3D hand pose estimation methods have made in recent years, they still require a large amount of labeled training data to achieve high accuracy. However, collecting such data is both costly and time-consuming. To tackle this issue, we propose a semi-supervised method to significantly reduce the dependence on labeled training data. The proposed method consists of two identical networks trained jointly: a teacher network and a student network. The teacher network is trained using both the available labeled and unlabeled samples. It leverages the unlabeled samples via a loss formulation that encourages estimation equivariance under a set of affine transformations. The student network is trained using the unlabeled samples with their pseudo-labels provided by the teacher network. For inference at test time, only the student network is used. Extensive experiments demonstrate that the proposed method outperforms the state-of-the-art semi-supervised methods by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google