Neural Light Spheres for Implicit Image Stitching and View Synthesis

要約

パノラマは、キャプチャするのが難しく、携帯電話の画面に表示するのが難しいため、逆説的に、現代のモバイル カメラ アプリケーションの定番機能であると同時にあまり活用されていない機能のままです。
この研究では、暗黙的なパノラマ画像のスティッチングと再レンダリングのための球状ニューラル ライト フィールド モデルを使用して、これらの課題の両方に対処します。
奥行き視差、ビュー依存の照明、キャプチャ中のローカル シーンの動きと色の変化に対応できます。
テスト中に任意のパスのパノラマ ビデオ キャプチャ (垂直、水平、ランダム ウォーク) にフィットします。これらの神経光球は、カメラのパスと高解像度のシーンの再構成を共同で推定し、新しい広視野の投影を生成します。
環境。
私たちの単一レイヤー モデルは、高価な体積サンプリングを回避し、シーンをコンパクトなビュー依存のレイ オフセットとカラー コンポーネントに分解します。シーンあたりの合計モデル サイズは 80 MB、解像度 1080p でのリアルタイム (50 FPS) レンダリングです。
従来の画像スティッチングや放射輝度フィールド法に比べて再構成品質が向上し、シーンの動きや非理想的なキャプチャ設定に対する耐性が大幅に向上することを実証します。

要約(オリジナル)

Challenging to capture, and challenging to display on a cellphone screen, the panorama paradoxically remains both a staple and underused feature of modern mobile camera applications. In this work we address both of these challenges with a spherical neural light field model for implicit panoramic image stitching and re-rendering; able to accommodate for depth parallax, view-dependent lighting, and local scene motion and color changes during capture. Fit during test-time to an arbitrary path panoramic video capture — vertical, horizontal, random-walk — these neural light spheres jointly estimate the camera path and a high-resolution scene reconstruction to produce novel wide field-of-view projections of the environment. Our single-layer model avoids expensive volumetric sampling, and decomposes the scene into compact view-dependent ray offset and color components, with a total model size of 80 MB per scene, and real-time (50 FPS) rendering at 1080p resolution. We demonstrate improved reconstruction quality over traditional image stitching and radiance field methods, with significantly higher tolerance to scene motion and non-ideal capture settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google