RANRAC: Robust Neural Scene Representations via Random Ray Consensus

要約

RANRAC は、遮蔽された画像や乱雑な画像を処理する 3D オブジェクト用のロバストな再構成アルゴリズムです。これは、従来のロバストな再構成方法では対処できない特に困難なシナリオです。
当社のソリューションは、ライトフィールド ネットワークを使用することでシングルショット再構成をサポートし、神経放射フィールドに基づいた現実世界の画像からのフォトリアリスティックで堅牢なマルチビュー再構成にも適用できます。
このアルゴリズムはシーン表現に一定の制限を課し、それによってサポートされるシーン タイプに制限を課しますが、一貫性のない遠近法を確実に検出して除外し、浮遊アーティファクトのないクリーンなイメージを実現します。
私たちのソリューションは、ランダム サンプル コンセンサス パラダイムのファジー適応に基づいており、大規模モデルへの適用を可能にします。
最小数のサンプルを解釈して、調整可能なハイパーパラメーターとしてモデル パラメーターを決定します。
これは、よりクリーンなサンプルのセットにより再構築の品質が向上するため、当てはまります。
さらに、この手順では外れ値も処理します。
特に条件付きモデルの場合、完全にクリーンなセットで得られるものと同じ潜在空間の極小値が得られる可能性があります。
ベースラインと比較して、オクルージョンされたシナリオでの新規ビュー合成の大幅な改善 (PSNR が最大 8dB) を報告します。

要約(オリジナル)

We introduce RANRAC, a robust reconstruction algorithm for 3D objects handling occluded and distracted images, which is a particularly challenging scenario that prior robust reconstruction methods cannot deal with. Our solution supports single-shot reconstruction by involving light-field networks, and is also applicable to photo-realistic, robust, multi-view reconstruction from real-world images based on neural radiance fields. While the algorithm imposes certain limitations on the scene representation and, thereby, the supported scene types, it reliably detects and excludes inconsistent perspectives, resulting in clean images without floating artifacts. Our solution is based on a fuzzy adaption of the random sample consensus paradigm, enabling its application to large scale models. We interpret the minimal number of samples to determine the model parameters as a tunable hyperparameter. This is applicable, as a cleaner set of samples improves reconstruction quality. Further, this procedure also handles outliers. Especially for conditioned models, it can result in the same local minimum in the latent space as would be obtained with a completely clean set. We report significant improvements for novel-view synthesis in occluded scenarios, of up to 8dB PSNR compared to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google