Towards a Perceptual Evaluation Framework for Lighting Estimation

要約

照明推定の進捗状況は、標準データセットからの画像に対する既存の画質評価 (IQA) メトリクスを計算することによって追跡されます。
これは合理的なアプローチのように見えるかもしれませんが、推定された照明を使用して仮想シーンを実際の写真に再照明する場合、そうすることは人間の好みと相関しないことを示します。
これを研究するために、人間の観察者が、最近の文献から選択された照明推定アルゴリズムのセットを使用して照明されたレンダリングされたシーンの中から好みを選択するという制御された心理物理学的実験を設計し、それを使用してこれらのアルゴリズムが人間の知覚に従ってどのように機能するかを分析します。
次に、文献からの最も一般的な IQA 指標はどれも、個別に取得した場合、人間の知覚を正しく表していないことを示します。
最後に、既存の IQA メトリクスの組み合わせを学習することで、人間の好みをより正確に表現できることを示します。
これにより、将来の照明推定アルゴリズムの評価に役立つ新しい知覚フレームワークが提供されます。

要約(オリジナル)

Progress in lighting estimation is tracked by computing existing image quality assessment (IQA) metrics on images from standard datasets. While this may appear to be a reasonable approach, we demonstrate that doing so does not correlate to human preference when the estimated lighting is used to relight a virtual scene into a real photograph. To study this, we design a controlled psychophysical experiment where human observers must choose their preference amongst rendered scenes lit using a set of lighting estimation algorithms selected from the recent literature, and use it to analyse how these algorithms perform according to human perception. Then, we demonstrate that none of the most popular IQA metrics from the literature, taken individually, correctly represent human perception. Finally, we show that by learning a combination of existing IQA metrics, we can more accurately represent human preference. This provides a new perceptual framework to help evaluate future lighting estimation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google