Free-form 3D Scene Inpainting with Dual-stream GAN

要約

現在、AR や VR 技術の発展により、3D シーンでのユーザー編集の必要性が急速に高まっています。
ただし、既存の 3D シーン完了タスク (およびデータセット) は、センサーの制限またはオブジェクト オクルージョンによってシーン内の欠落領域が生成されるため、ニーズに適合できません。
したがって、フリーフォーム 3D シーン修復という新しいタスクを提示します。
主な構造の大部分と欠落領域周辺の詳細な形状のヒントを保持する以前の 3D 完成データセットのシーンとは異なり、提案された修復データセット FF-Matterport には、模倣できるフリーフォーム 3D マスク生成アルゴリズムによって形成された大規模で多様な欠落領域が含まれています。
3D空間での人間の描画軌跡。
さらに、以前の 3D 補完方法は、近くのジオメトリと色のコンテキストを単純に補間するだけで、この挑戦​​的で実用的なタスクをうまく実行できませんでした。
したがって、調整されたデュアル ストリーム GAN メソッドが提案されます。
まず、ジオメトリと色の両方の情報を融合するデュアル ストリーム ジェネレーターは、明確なセマンティック境界を生成し、補間の問題を解決します。
詳細をさらに強化するために、軽量のデュアル ストリーム ディスクリミネーターは、予測されたシーンのジオメトリとカラー エッジを正則化して、リアルでシャープにします。
提案された FF-Matterport データセットを使用して実験を行いました。
定性的および定量的な結果は、既存のシーン補完方法に対する私たちのアプローチの優位性と、提案されたすべてのコンポーネントの有効性を検証します。

要約(オリジナル)

Nowadays, the need for user editing in a 3D scene has rapidly increased due to the development of AR and VR technology. However, the existing 3D scene completion task (and datasets) cannot suit the need because the missing regions in scenes are generated by the sensor limitation or object occlusion. Thus, we present a novel task named free-form 3D scene inpainting. Unlike scenes in previous 3D completion datasets preserving most of the main structures and hints of detailed shapes around missing regions, the proposed inpainting dataset, FF-Matterport, contains large and diverse missing regions formed by our free-form 3D mask generation algorithm that can mimic human drawing trajectories in 3D space. Moreover, prior 3D completion methods cannot perform well on this challenging yet practical task, simply interpolating nearby geometry and color context. Thus, a tailored dual-stream GAN method is proposed. First, our dual-stream generator, fusing both geometry and color information, produces distinct semantic boundaries and solves the interpolation issue. To further enhance the details, our lightweight dual-stream discriminator regularizes the geometry and color edges of the predicted scenes to be realistic and sharp. We conducted experiments with the proposed FF-Matterport dataset. Qualitative and quantitative results validate the superiority of our approach over existing scene completion methods and the efficacy of all proposed components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google