MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References

要約

3D 再構成からリアルな画像をレンダリングすることは、多くのコンピューター ビジョンおよびロボティクス パイプライン、特に複合現実アプリケーションやシミュレートされた環境での自律エージェントのトレーニングにとって不可欠なタスクです。
ただし、新しいビューの品質は、ソースの再構築に大きく依存します。ソースの再構築は、ジオメトリや外観のノイズや欠落により不完全になることがよくあります。
参照ベースの超解像度ネットワークの最近の成功に触発されて、私たちは、近くのマッピング画像の情報を活用してターゲット視点のレンダリングを改善する改良方法である MaRINeR を提案します。
まず、ターゲット視点からのシーン ジオメトリの生のレンダリング イメージと、深いフィーチャに基づいた近くの参照との間の一致を確立し、その後、階層的な詳細転送が続きます。
定量的なメトリクスと、明示的および暗黙的なシーン表現の両方からの定性的な例で改善されたレンダリングを示します。
さらに、擬似グラウンドトゥルースの検証、合成データの強化、および縮小 3D 再構成のレンダリングのための詳細回復という下流タスクにもこの方法を採用しています。

要約(オリジナル)

Rendering realistic images from 3D reconstruction is an essential task of many Computer Vision and Robotics pipelines, notably for mixed-reality applications as well as training autonomous agents in simulated environments. However, the quality of novel views heavily depends of the source reconstruction which is often imperfect due to noisy or missing geometry and appearance. Inspired by the recent success of reference-based super-resolution networks, we propose MaRINeR, a refinement method that leverages information of a nearby mapping image to improve the rendering of a target viewpoint. We first establish matches between the raw rendered image of the scene geometry from the target viewpoint and the nearby reference based on deep features, followed by hierarchical detail transfer. We show improved renderings in quantitative metrics and qualitative examples from both explicit and implicit scene representations. We further employ our method on the downstream tasks of pseudo-ground-truth validation, synthetic data enhancement and detail recovery for renderings of reduced 3D reconstructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google