3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective

要約

この研究の目的は、単一の画像から人間の衣服のジオメトリ形状とテクスチャを復元する自己教師付き 3D 衣服再構成手法を研究することです。
既存の方法と比較して、3 つの主要な課題が残っていることがわかります。(1) 衣服の 3D グラウンド トゥルース メッシュは、通常、注釈の難しさと時間コストのためにアクセスできません。
（2）従来のテンプレートベースの方法は、ファッション画像で一般的なハンドバッグやドレスなどの非剛性オブジェクトのモデリングに限定されています。
(3) 固有のあいまいさは、リモート カメラを使用した大きな形状とクローズ カメラを使用した小さな形状との間のジレンマなど、モデル トレーニングを危険にさらします。
上記の制限に対処する試みとして、3D 注釈なしで 2D 画像から 3D 非剛体オブジェクトを適応的に再構築するための因果関係を認識する自己教師あり学習方法を提案します。
特に、4 つの暗黙の変数、つまりカメラの位置、形状、テクスチャ、および照明の間の固有のあいまいさを解決するために、説明可能な構造的因果マップ (SCM) を導入してモデルを構築します。
提案されたモデル構造は、因果マップの精神に従います。これは、カメラ推定と形状予測で以前のテンプレートを明示的に考慮します。
最適化の際、因果関係介入ツール、つまり 2 つの期待値最大化ループがアルゴリズムに深く組み込まれ、(1) 4 つのエンコーダーのもつれを解き、(2) 前のテンプレートを容易にします。
2 つの 2D ファッション ベンチマーク (ATR と Market-HQ) での広範な実験により、提案された方法が忠実度の高い 3D 再構成をもたらすことができることが示されています。
さらに、細粒度の鳥のデータセット、つまりCUBで提案された方法のスケーラビリティも検証します。
コードは https://github.com/layumi/ 3D-Magic-Mirror で入手できます。

要約(オリジナル)

This research aims to study a self-supervised 3D clothing reconstruction method, which recovers the geometry shape and texture of human clothing from a single image. Compared with existing methods, we observe that three primary challenges remain: (1) 3D ground-truth meshes of clothing are usually inaccessible due to annotation difficulties and time costs; (2) Conventional template-based methods are limited to modeling non-rigid objects, e.g., handbags and dresses, which are common in fashion images; (3) The inherent ambiguity compromises the model training, such as the dilemma between a large shape with a remote camera or a small shape with a close camera. In an attempt to address the above limitations, we propose a causality-aware self-supervised learning method to adaptively reconstruct 3D non-rigid objects from 2D images without 3D annotations. In particular, to solve the inherent ambiguity among four implicit variables, i.e., camera position, shape, texture, and illumination, we introduce an explainable structural causal map (SCM) to build our model. The proposed model structure follows the spirit of the causal map, which explicitly considers the prior template in the camera estimation and shape prediction. When optimization, the causality intervention tool, i.e., two expectation-maximization loops, is deeply embedded in our algorithm to (1) disentangle four encoders and (2) facilitate the prior template. Extensive experiments on two 2D fashion benchmarks (ATR and Market-HQ) show that the proposed method could yield high-fidelity 3D reconstruction. Furthermore, we also verify the scalability of the proposed method on a fine-grained bird dataset, i.e., CUB. The code is available at https://github.com/layumi/ 3D-Magic-Mirror .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google