TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning

要約

3D ハンド再構築の構造化回帰タスクのための新しい時間コヒーレントな対照学習アプローチである TempCLR を紹介します。
手のポーズ推定のための以前の時間対照的な方法とは異なり、私たちのフレームワークは、その拡張スキームの時間的一貫性を考慮し、時間方向に沿った手のポーズの違いを説明します。
私たちのデータ駆動型の方法は、合成データ、疑似ラベル、または特殊なアーキテクチャに依存することなく、ラベルのないビデオと標準の CNN を活用します。
私たちのアプローチは、HO-3D および FreiHAND データセットの PA-V2V でそれぞれ 15.9% および 7.6% によって完全に教師付きの手の再構成方法のパフォーマンスを向上させ、新しい最先端のパフォーマンスを確立します。
最後に、私たちのアプローチが時間の経過とともにより滑らかな手の再構成を生成し、定量的および定性的に示す以前の最先端技術と比較して、重いオクルージョンに対してより堅牢であることを示します。
私たちのコードとモデルは、https://eth-ait.github.io/tempclr で入手できます。

要約(オリジナル)

We introduce TempCLR, a new time-coherent contrastive learning approach for the structured regression task of 3D hand reconstruction. Unlike previous time-contrastive methods for hand pose estimation, our framework considers temporal consistency in its augmentation scheme, and accounts for the differences of hand poses along the temporal direction. Our data-driven method leverages unlabelled videos and a standard CNN, without relying on synthetic data, pseudo-labels, or specialized architectures. Our approach improves the performance of fully-supervised hand reconstruction methods by 15.9% and 7.6% in PA-V2V on the HO-3D and FreiHAND datasets respectively, thus establishing new state-of-the-art performance. Finally, we demonstrate that our approach produces smoother hand reconstructions through time, and is more robust to heavy occlusions compared to the previous state-of-the-art which we show quantitatively and qualitatively. Our code and models will be available at https://eth-ait.github.io/tempclr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google