SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

要約

私たちは、さまざまな照明、ポーズ、背景で撮影されたオブジェクト画像から形状、素材、照明を再構築するためのエンドツーエンドのフレームワークである SHINOBI を紹介します。
制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピューター ビジョンとグラフィックスにおける長年の課題であり、形状、輝度、ポーズを総合的に最適化する必要があります。
多重解像度ハッシュエンコーディングに基づく暗黙的な形状表現により、共同カメラ位置合わせの最適化により、以前の研究を上回る高速かつロバストな形状再構築が可能になることを示します。
さらに、照明とオブジェクトの反射率 (つまり、マテリアル) の編集を可能にするために、BRDF と照明をオブジェクトの形状と合わせて最適化します。
私たちのメソッドはクラスに依存せず、オブジェクトの野生の画像コレクションを操作して、AR/VR、映画、ゲームなどのいくつかのユースケース向けに再照明可能な 3D アセットを生成します。プロジェクト ページ: https://shinobi.aengelhardt。
com ビデオ: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

要約(オリジナル)

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object’s shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

arxiv情報

提供元, 利用サービス

arxiv.jp, Google