Global-correlated 3D-decoupling Transformer for Clothed Avatar Reconstruction

要約

単一の画像から 3D の衣服を着た人間のアバターを再構築することは、特に複雑なポーズや緩い衣服に遭遇した場合には困難な作業です。
現在の方法ではパフォーマンスに限界があり、その主な原因は不十分な 2D 画像特徴と一貫性のないクエリ方法への依存です。
このため、我々は、単眼画像から衣服を着た人間のアバターを再構成する新しいトランスフォーマーベースのアーキテクチャである、服を着たアバター再構成 (GTA) のためのグローバル相関 3D デカップリング トランスフォーマーを紹介します。
私たちのアプローチは、グローバル相関画像特徴をキャプチャするためのエンコーダーとして Vision Transformer モデルを利用することで、トランスフォーマー アーキテクチャを活用します。
その後、当社の革新的な 3D デカップリング デコーダは、クロス アテンションを採用してトライプレーン特徴をデカップリングし、クロスプレーン生成のクエリとして学習可能な埋め込みを使用します。
トライプレーン 3D 特徴と人体の事前強化による特徴融合を効果的に強化するために、空間位置特定と人体の事前知識の利点を活用して、空間クエリと事前強化クエリを組み合わせたハイブリッド事前融合戦略を提案します。
CAPE および THuman2.0 データセットに関する包括的な実験では、私たちの方法がジオメトリとテクスチャの再構築の両方において最先端のアプローチを上回っており、難しいポーズやゆったりした衣服に対して高い堅牢性を示し、高解像度のテクスチャを生成できることが示されています。
コードは https://github.com/River-Zhang/GTA で入手できます。

要約(オリジナル)

Reconstructing 3D clothed human avatars from single images is a challenging task, especially when encountering complex poses and loose clothing. Current methods exhibit limitations in performance, largely attributable to their dependence on insufficient 2D image features and inconsistent query methods. Owing to this, we present the Global-correlated 3D-decoupling Transformer for clothed Avatar reconstruction (GTA), a novel transformer-based architecture that reconstructs clothed human avatars from monocular images. Our approach leverages transformer architectures by utilizing a Vision Transformer model as an encoder for capturing global-correlated image features. Subsequently, our innovative 3D-decoupling decoder employs cross-attention to decouple tri-plane features, using learnable embeddings as queries for cross-plane generation. To effectively enhance feature fusion with the tri-plane 3D feature and human body prior, we propose a hybrid prior fusion strategy combining spatial and prior-enhanced queries, leveraging the benefits of spatial localization and human body prior knowledge. Comprehensive experiments on CAPE and THuman2.0 datasets illustrate that our method outperforms state-of-the-art approaches in both geometry and texture reconstruction, exhibiting high robustness to challenging poses and loose clothing, and producing higher-resolution textures. Codes will be available at https://github.com/River-Zhang/GTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google