Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models

要約

RGBD ビュー観測のまばらなセットから、基になるシーンのジオメトリと色を復元するという課題に対処します。
この作業では、カメラの軌跡に沿って新しい RGBD ビューを順次生成する新しいソリューションを提示します。シーン ジオメトリは、単にこれらのビューの融合結果です。
より具体的には、新しい RGBD ビューをレンダリングするために使用される中間サーフェス メッシュを維持します。これは、後で修復ネットワークによって完成されます。
レンダリングされた各 RGBD ビューは、後で部分サーフェスとして逆投影され、中間メッシュに追加されます。
中間メッシュとカメラ プロジェクションを使用すると、マルチビューの不一致という解決しにくい問題を解決できます。
RGBD修復ネットワークを、以前は2D生成モデリングに使用されていた汎用RGBD拡散モデルとして実際に実装します。
その逆拡散プロセスを変更して、使用できるようにします。
スパース RGBD 入力からの 3D シーン合成のタスクに対するアプローチを評価します。
ScanNet データセットでの広範な実験は、既存のアプローチに対する私たちのアプローチの優位性を示しています。
プロジェクトページ：https://jblei.site/project-pages/rgbd-diffusion.html

要約(オリジナル)

We address the challenge of recovering an underlying scene geometry and colors from a sparse set of RGBD view observations. In this work, we present a new solution that sequentially generates novel RGBD views along a camera trajectory, and the scene geometry is simply the fusion result of these views. More specifically, we maintain an intermediate surface mesh used for rendering new RGBD views, which subsequently becomes complete by an inpainting network; each rendered RGBD view is later back-projected as a partial surface and is supplemented into the intermediate mesh. The use of intermediate mesh and camera projection helps solve the refractory problem of multi-view inconsistency. We practically implement the RGBD inpainting network as a versatile RGBD diffusion model, which is previously used for 2D generative modeling; we make a modification to its reverse diffusion process to enable our use. We evaluate our approach on the task of 3D scene synthesis from sparse RGBD inputs; extensive experiments on the ScanNet dataset demonstrate the superiority of our approach over existing ones. Project page: https://jblei.site/project-pages/rgbd-diffusion.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google