PanDORA: Casual HDR Radiance Acquisition for Indoor Scenes

要約

NeRF などのほとんどの新しいビュー合成手法は、通常、標準的なロー ダイナミック レンジ (LDR) カメラでキャプチャされた写真でトレーニングされるため、シーンの真のハイ ダイナミック レンジ (HDR) 放射輝度をキャプチャすることができません。
異なる露出で複数の画像をキャプチャする従来の露出ブラケティング手法は、最近マルチビューの場合に適応されてきましたが、そのような方法では、非常に明るい光源を含む屋内シーンのダイナミック レンジ全体をキャプチャするには不十分であることがわかりました。
このペーパーでは、PanDORA を紹介します。これは、高ダイナミック レンジで屋内シーンをカジュアルにキャプチャするためのパノラマ デュアル オブザーバー放射輝度取得システムです。
私たちが提案するシステムは、ポータブル三脚にしっかりと取り付けられた 2 台の 360{\deg} カメラで構成されます。
カメラは 2 つの 360{\deg} ビデオを同時に取得します。1 つは通常の露出で、もう 1 つは非常に速い露出で、ユーザーはほんの数分でシーンの周りで何気なく装置を振るだけで済みます。
結果として得られる画像は、シーンのハイ ダイナミック レンジ全体を再構築する NeRF ベースのアルゴリズムに供給されます。
以前の研究の HDR ベースラインと比較して、私たちのアプローチは、最近の NeRF のようなアプローチによるキャプチャの容易さを維持しながら、視覚的な品質を犠牲にすることなく屋内シーンの完全な HDR 放射を再構築します。

要約(オリジナル)

Most novel view synthesis methods such as NeRF are unable to capture the true high dynamic range (HDR) radiance of scenes since they are typically trained on photos captured with standard low dynamic range (LDR) cameras. While the traditional exposure bracketing approach which captures several images at different exposures has recently been adapted to the multi-view case, we find such methods to fall short of capturing the full dynamic range of indoor scenes, which includes very bright light sources. In this paper, we present PanDORA: a PANoramic Dual-Observer Radiance Acquisition system for the casual capture of indoor scenes in high dynamic range. Our proposed system comprises two 360{\deg} cameras rigidly attached to a portable tripod. The cameras simultaneously acquire two 360{\deg} videos: one at a regular exposure and the other at a very fast exposure, allowing a user to simply wave the apparatus casually around the scene in a matter of minutes. The resulting images are fed to a NeRF-based algorithm that reconstructs the scene’s full high dynamic range. Compared to HDR baselines from previous work, our approach reconstructs the full HDR radiance of indoor scenes without sacrificing the visual quality while retaining the ease of capture from recent NeRF-like approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google