PeCLR: Self-Supervised 3D Hand Pose Estimation from monocular RGB via Equivariant Contrastive Learning

要約

画像分類タスクにおける対照学習の成功に刺激され、我々は3Dハンドポーズ推定という構造化回帰タスクのための新しい自己教師付き手法を提案する。対照学習は、ラベル付けされていないデータを用いて表現学習を行うもので、学習された特徴表現がいかなる画像変換に対しても不変であることを促す損失定式化を用いている。3次元手の姿勢推定においても、色ずれなどの外観変換に対して不変であることが望まれる。しかし、この課題では、回転や並進などのアフィン変換に対して等変量であることが求められる。この問題を解決するために、我々は等変量対比目的語を提案し、3Dハンドポーズ推定の文脈でその有効性を実証する。我々は、不変量と等変量対比目的語の影響を実験的に調査し、等変量特徴を学習することで、3Dハンドポーズ推定タスクのためのより良い表現につながることを示す。さらに、十分な深さのある標準的なResNetsをラベルのないデータで追加学習することで、FreiHANDのPA-EPEにおいて最大14.5%の改善を達成し、タスク固有の特殊なアーキテクチャなしに最先端の性能を達成することを示しています。コードとモデルは https://ait.ethz.ch/projects/2021/PeCLR/ で公開されています。

要約(オリジナル)

Encouraged by the success of contrastive learning on image classification tasks, we propose a new self-supervised method for the structured regression task of 3D hand pose estimation. Contrastive learning makes use of unlabeled data for the purpose of representation learning via a loss formulation that encourages the learned feature representations to be invariant under any image transformation. For 3D hand pose estimation, it too is desirable to have invariance to appearance transformation such as color jitter. However, the task requires equivariance under affine transformations, such as rotation and translation. To address this issue, we propose an equivariant contrastive objective and demonstrate its effectiveness in the context of 3D hand pose estimation. We experimentally investigate the impact of invariant and equivariant contrastive objectives and show that learning equivariant features leads to better representations for the task of 3D hand pose estimation. Furthermore, we show that standard ResNets with sufficient depth, trained on additional unlabeled data, attain improvements of up to 14.5% in PA-EPE on FreiHAND and thus achieves state-of-the-art performance without any task specific, specialized architectures. Code and models are available at https://ait.ethz.ch/projects/2021/PeCLR/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL