Beyond the Pixel: a Photometrically Calibrated HDR Dataset for Luminance and Color Prediction

要約

光は人間の幸福において重要な役割を果たします。
ただし、コンピュータ ビジョン タスクのほとんどは、物理的な輝度との関係を考慮せずにピクセルを扱います。
この欠点に対処するために、私たちは、高ダイナミック レンジ 360{\deg} パノラマの最初の大規模な測光的に校正されたデータセットである Laval 測光屋内 HDR データセットを導入します。
私たちの主な貢献は、既存の未キャリブレーションの HDR データセットのキャリブレーションです。
これは、さまざまな照明条件にわたる複数のシーンに対して、プロ仕様の測光装置 (クロマ メーター) を使用して同時に RAW ブラケット露出を正確にキャプチャすることによって実現されます。
結果の測定結果を使用して、HDR 画像に適用する校正係数を確立します。
結果として得られるデータセットは、広範囲の照度と色、およびさまざまな種類の光源を表示する屋内シーンを豊富に表現したものです。
このデータセットを利用して、ピクセルごとの輝度、ピクセルごとの色、および平面照度を単一の入力画像から予測できる 3 つの新しいタスクを導入します。
最後に、市販の 360{\deg} カメラで別の小さな測光データセットもキャプチャし、カメラ全体での一般化を実験します。
私たちは、データセットと関連コードのリリースにより、コミュニティ内で物理的に正確な光の推定に対する関心が高まると楽観的に考えています。
データセットとコードは https://lvsn.github.io/beyondthepixel/ で入手できます。

要約(オリジナル)

Light plays an important role in human well-being. However, most computer vision tasks treat pixels without considering their relationship to physical luminance. To address this shortcoming, we introduce the Laval Photometric Indoor HDR Dataset, the first large-scale photometrically calibrated dataset of high dynamic range 360{\deg} panoramas. Our key contribution is the calibration of an existing, uncalibrated HDR Dataset. We do so by accurately capturing RAW bracketed exposures simultaneously with a professional photometric measurement device (chroma meter) for multiple scenes across a variety of lighting conditions. Using the resulting measurements, we establish the calibration coefficients to be applied to the HDR images. The resulting dataset is a rich representation of indoor scenes which displays a wide range of illuminance and color, and varied types of light sources. We exploit the dataset to introduce three novel tasks, where: per-pixel luminance, per-pixel color and planar illuminance can be predicted from a single input image. Finally, we also capture another smaller photometric dataset with a commercial 360{\deg} camera, to experiment on generalization across cameras. We are optimistic that the release of our datasets and associated code will spark interest in physically accurate light estimation within the community. Dataset and code are available at https://lvsn.github.io/beyondthepixel/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google