How Self-Supervised Learning Can be Used for Fine-Grained Head Pose Estimation?

要約

ヘッド ポーズのラベリングのコストは、きめ細かいヘッド ポーズ推定 (HPE) を改善する上での主な課題です。
Self-Supervised Learning (SSL) は大量のラベル付きデータの不足に対する解決策になる可能性がありますが、きめの細かい HPE に対するその有効性はまだ完全には調査されていません。
この調査は、2 つのシナリオに基づいて、きめの細かい HPE での SSL の使用を評価することを目的としています。
両方の戦略が適用される ResNet50 バックボーンに基づいて、ハイブリッド マルチタスク学習 (HMTL) アーキテクチャを設計します。
私たちの実験結果は、両方のシナリオの組み合わせが HPE にとって最適であることを示しています。
合わせて、平均エラー率は、ベースラインと比較して、AFLW2000 で 23.1%、BIWI ベンチマークで 14.2% まで減少しました。
さらに、転移学習により適した SSL 方式もあれば、教師あり学習に組み込まれた補助タスクと見なすと効果的な SSL 方式もあることがわかりました。
最後に、提案された HMTL アーキテクチャを使用することにより、さまざまなタイプの初期重み (ランダム、ImageNet、および SSL 事前トレーニング済みの重み) で平均エラーが減少することが示されています。

要約(オリジナル)

The cost of head pose labeling is the main challenge of improving the fine-grained Head Pose Estimation (HPE). Although Self-Supervised Learning (SSL) can be a solution to the lack of huge amounts of labeled data, its efficacy for fine-grained HPE is not yet fully explored. This study aims to assess the usage of SSL in fine-grained HPE based on two scenarios: (1) using SSL for weights pre-training procedure, and (2) leveraging auxiliary SSL losses besides HPE. We design a Hybrid Multi-Task Learning (HMTL) architecture based on the ResNet50 backbone in which both strategies are applied. Our experimental results reveal that the combination of both scenarios is the best for HPE. Together, the average error rate is reduced up to 23.1% for AFLW2000 and 14.2% for BIWI benchmark compared to the baseline. Moreover, it is found that some SSL methods are more suitable for transfer learning, while others may be effective when they are considered as auxiliary tasks incorporated into supervised learning. Finally, it is shown that by using the proposed HMTL architecture, the average error is reduced with different types of initial weights: random, ImageNet and SSL pre-trained weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google