CheapNVS: Real-Time On-Device Narrow-Baseline Novel View Synthesis

要約

シングルビューの新規ビュー合成 (NVS) は、その不適切な性質により悪名高い問題であり、具体的な結果を得るには、多くの場合、大規模で計算コストのかかるアプローチが必要になります。
このペーパーでは、CheapNVS を提案します。これは、マルチステージ方式でトレーニングされた、新規で効率的な複数のエンコーダ/デコーダ設計に基づく、狭いベースラインのシングルビュー NVS に対する完全なエンドツーエンドのアプローチです。
CheapNVS は、まず、ターゲット ビューのカメラ ポーズの埋め込みに条件付けされた軽量の学習可能なモジュールを使用して、手間のかかる 3D 画像のワーピングを近似し、次に、オクルージョンされた領域の修復を並行して実行して、大幅なパフォーマンスの向上を実現します。
Open Images データセットのサブセットでトレーニングすると、CheapNVS は 10 倍高速でメモリ消費量が 6% 少ないにもかかわらず、最先端のパフォーマンスを上回ります。
さらに、CheapNVS はモバイル デバイス上でリアルタイムで快適に動作し、Samsung Tab 9+ では 30 FPS 以上に達します。

要約(オリジナル)

Single-view novel view synthesis (NVS) is a notorious problem due to its ill-posed nature, and often requires large, computationally expensive approaches to produce tangible results. In this paper, we propose CheapNVS: a fully end-to-end approach for narrow baseline single-view NVS based on a novel, efficient multiple encoder/decoder design trained in a multi-stage fashion. CheapNVS first approximates the laborious 3D image warping with lightweight learnable modules that are conditioned on the camera pose embeddings of the target view, and then performs inpainting on the occluded regions in parallel to achieve significant performance gains. Once trained on a subset of Open Images dataset, CheapNVS outperforms the state-of-the-art despite being 10 times faster and consuming 6% less memory. Furthermore, CheapNVS runs comfortably in real-time on mobile devices, reaching over 30 FPS on a Samsung Tab 9+.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google