Source-free Domain Adaptive Human Pose Estimation

要約

Human Pose Estimation (HPE) は、動作分析、ヘルスケア、仮想現実などのさまざまな分野で広く使用されています。
ただし、ラベル付き現実世界のデータセットにかかる多額の費用は、HPE にとって大きな課題となっています。
これを克服するための 1 つのアプローチは、合成データセットで HPE モデルをトレーニングし、実世界のデータでドメイン アダプテーション (DA) を実行することです。
残念ながら、HPE の既存の DA 手法では、適応プロセスでソース データとターゲット データの両方を使用するため、データのプライバシーとセキュリティが無視されます。
この目的を達成するために、ソースフリー ドメイン アダプティブ HPE と呼ばれる新しいタスクを提案します。これは、適応プロセス中にソース データにアクセスせずに HPE のクロスドメイン学習の課題に対処することを目的としています。
さらに、ソース保護とターゲット関連の両方の観点からタスクを調査する、ソース モデル、中間モデル、ターゲット モデルの 3 つのモデルで構成される新しいフレームワークを提案します。
ソース保護モジュールはノイズに耐えながらソース情報をより効果的に保存し、ターゲット関連モジュールは新しい空間確率空間を構築することで空間表現のスパース性を低減します。これに基づいて姿勢固有の対比学習と情報の最大化が提案されます。
空間。
いくつかのドメイン適応型 HPE ベンチマークに関する包括的な実験により、提案された方法が既存のアプローチよりも大幅に優れていることがわかりました。
コードは https://github.com/davidpengucf/SFDAHPE で入手できます。

要約(オリジナル)

Human Pose Estimation (HPE) is widely used in various fields, including motion analysis, healthcare, and virtual reality. However, the great expenses of labeled real-world datasets present a significant challenge for HPE. To overcome this, one approach is to train HPE models on synthetic datasets and then perform domain adaptation (DA) on real-world data. Unfortunately, existing DA methods for HPE neglect data privacy and security by using both source and target data in the adaptation process. To this end, we propose a new task, named source-free domain adaptive HPE, which aims to address the challenges of cross-domain learning of HPE without access to source data during the adaptation process. We further propose a novel framework that consists of three models: source model, intermediate model, and target model, which explores the task from both source-protect and target-relevant perspectives. The source-protect module preserves source information more effectively while resisting noise, and the target-relevant module reduces the sparsity of spatial representations by building a novel spatial probability space, and pose-specific contrastive learning and information maximization are proposed on the basis of this space. Comprehensive experiments on several domain adaptive HPE benchmarks show that the proposed method outperforms existing approaches by a considerable margin. The codes are available at https://github.com/davidpengucf/SFDAHPE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google