Incorporating Exemplar Optimization into Training with Dual Networks for Human Mesh Recovery

要約

我々は、単一の画像から最適化ベースの新しいヒューマンメッシュを復元する方法を提案します。
テスト例を考慮すると、以前のアプローチでは、事前トレーニングされた回帰ネットワークを最適化して 2D 再投影損失を最小限に抑えますが、オーバーフィッティング/アンダーフィッティングの問題が発生します。
これは、テスト時の「模範最適化」と事前学習プロセスとの関係が弱すぎるためであり、模範最適化の損失関数は学習損失関数とは異なるためです。
(1) 訓練段階に模範の最適化を組み込みます。
トレーニング中に、私たちのメソッドは最初にサンプルの最適化を実行し、続いてトレーニング時の最適化を進めます。
模範的な最適化は間違った方向に進む可能性がありますが、その後のトレーニングの最適化は逸脱を修正するのに役立ちます。
トレーニングに関与するイグザンプラの最適化は、その動作をトレーニング データに適応させることを学習し、それによってイグザンプラをテストするための一般性を獲得します。
(2) 新しいトレーニング パラダイムを伝えるためのデュアル ネットワーク アーキテクチャを考案します。これは主回帰ネットワークと補助ネットワークで構成され、トレーニング損失関数と同じ形式で模範的な最適化損失関数を定式化できます。
これにより、イグザンプラとトレーニングの最適化の間の互換性がさらに強化されます。
実験では、新しいトレーニング スキーム後のサンプル最適化が最先端のアプローチを大幅に上回ることが実証されています。

要約(オリジナル)

We propose a novel optimization-based human mesh recovery method from a single image. Given a test exemplar, previous approaches optimize the pre-trained regression network to minimize the 2D re-projection loss, which however suffer from over-/under-fitting problems. This is because the “exemplar optimization” at testing time has too weak relation to the pre-training process, and the exemplar optimization loss function is different from the training loss function. (1) We incorporate exemplar optimization into the training stage. During training, our method first executes exemplar optimization and subsequently proceeds with training-time optimization. The exemplar optimization may run into a wrong direction, while the subsequent training optimization serves to correct the deviation. Involved in training, the exemplar optimization learns to adapt its behavior to training data, thereby acquires generalibility to test exemplars. (2) We devise a dual-network architecture to convey the novel training paradigm, which is composed of a main regression network and an auxiliary network, in which we can formulate the exemplar optimization loss function in the same form as the training loss function. This further enhances the compatibility between the exemplar and training optimizations. Experiments demonstrate that our exemplar optimization after the novel training scheme significantly outperforms state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google