ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections

要約

単眼画像から動物の体のような 3D 多関節形状を推定することは、カメラの視点、ポーズ、テクスチャ、照明などの曖昧さのため、本質的に困難です。私たちは、まばらな画像コレクションからインスタンスごとの 3D 形状を再構成するための自己教師ありフレームワークである ARTIC3D を提案します。
野生で。
具体的には、ARTIC3D はスケルトンベースのサーフェス表現に基づいて構築されており、さらに Stable Diffusion の 2D 拡散事前分布によってガイドされます。
まず、2D 拡散によるオクルージョン/トランケーションを使用して入力画像を強化し、よりクリーンなマスク推定値とセマンティック特徴を取得します。
次に、拡散ガイド付き 3D 最適化を実行して、高忠実度で入力画像に忠実な形状とテクスチャを推定します。
また、既存の代替手法と比較して、拡散モデルを介してより安定した画像レベルの勾配を計算する新しい手法も提案します。
最後に、剛体パーツ変換の下でレンダリングされた形状とテクスチャを微調整することで、リアルなアニメーションを作成します。
複数の既存のデータセットと、新しく導入されたオクルージョンと切り捨てを含むノイズの多い Web 画像コレクションに対する広範な評価により、ARTIC3D 出力がノイズの多い画像に対してより堅牢で、形状とテクスチャの詳細の点でより高品質であり、アニメーション化された場合により現実的であることが実証されました。
プロジェクトページ：https://chhankyao.github.io/artic3d/

要約(オリジナル)

Estimating 3D articulated shapes like animal bodies from monocular images is inherently challenging due to the ambiguities of camera viewpoint, pose, texture, lighting, etc. We propose ARTIC3D, a self-supervised framework to reconstruct per-instance 3D shapes from a sparse image collection in-the-wild. Specifically, ARTIC3D is built upon a skeleton-based surface representation and is further guided by 2D diffusion priors from Stable Diffusion. First, we enhance the input images with occlusions/truncation via 2D diffusion to obtain cleaner mask estimates and semantic features. Second, we perform diffusion-guided 3D optimization to estimate shape and texture that are of high-fidelity and faithful to input images. We also propose a novel technique to calculate more stable image-level gradients via diffusion models compared to existing alternatives. Finally, we produce realistic animations by fine-tuning the rendered shape and texture under rigid part transformations. Extensive evaluations on multiple existing datasets as well as newly introduced noisy web image collections with occlusions and truncation demonstrate that ARTIC3D outputs are more robust to noisy images, higher quality in terms of shape and texture details, and more realistic when animated. Project page: https://chhankyao.github.io/artic3d/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google