LASSIE: Learning Articulated Shapes from Sparse Image Ensemble via 3D Part Discovery

要約

動物の高品質な関節式3Dモデルを作成することは、手動で作成するか、3Dスキャンツールを使用することによって困難です。
したがって、2D画像から関節のある3Dオブジェクトを再構築する技術は非常に重要であり、非常に有用です。
この作業では、特定の動物種（たとえば、馬）の野生の画像を数枚（10〜30枚）だけ与えて、動物の3Dポーズと形状を推定するための実用的な問題設定を提案します。
事前定義されたテンプレート形状に依存する既存の作品とは異なり、2Dまたは3Dのグラウンドトゥルース注釈の形式を想定したり、マルチビューまたは時間情報を活用したりすることはありません。
さらに、各入力画像アンサンブルには、さまざまなポーズ、背景、イルミネーション、およびテクスチャを持つ動物インスタンスを含めることができます。
私たちの重要な洞察は、3Dパーツは動物全体に比べてはるかに単純な形状であり、堅牢であるということです。
動物のポーズのアーティキュレーション。
これらの洞察に続いて、最小限のユーザー介入で自己監視方式で3Dパーツを検出する新しい最適化フレームワークであるLASSIEを提案します。
LASSIEの背後にある主要な推進力は、自己監視の深い機能を使用して2D-3Dパーツの一貫性を強化することです。
Pascal-Partおよび自己収集された野生動物のデータセットに関する実験は、従来技術と比較して、2Dおよび3Dパーツの発見だけでなく、かなり優れた3D再構成を示しています。
プロジェクトページ：chhankyao.github.io/lassie/

要約(オリジナル)

Creating high-quality articulated 3D models of animals is challenging either via manual creation or using 3D scanning tools. Therefore, techniques to reconstruct articulated 3D objects from 2D images are crucial and highly useful. In this work, we propose a practical problem setting to estimate 3D pose and shape of animals given only a few (10-30) in-the-wild images of a particular animal species (say, horse). Contrary to existing works that rely on pre-defined template shapes, we do not assume any form of 2D or 3D ground-truth annotations, nor do we leverage any multi-view or temporal information. Moreover, each input image ensemble can contain animal instances with varying poses, backgrounds, illuminations, and textures. Our key insight is that 3D parts have much simpler shape compared to the overall animal and that they are robust w.r.t. animal pose articulations. Following these insights, we propose LASSIE, a novel optimization framework which discovers 3D parts in a self-supervised manner with minimal user intervention. A key driving force behind LASSIE is the enforcing of 2D-3D part consistency using self-supervisory deep features. Experiments on Pascal-Part and self-collected in-the-wild animal datasets demonstrate considerably better 3D reconstructions as well as both 2D and 3D part discovery compared to prior arts. Project page: chhankyao.github.io/lassie/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google