GTA-HDR: A Large-Scale Synthetic Dataset for HDR Image Reconstruction

要約

ハイ ダイナミック レンジ (HDR) コンテンツ (つまり、画像やビデオ) には幅広い用途があります。
ただし、現実世界のシーンから HDR コンテンツをキャプチャするには、費用と時間がかかります。
したがって、ロー ダイナミック レンジ (LDR) 対応画像から視覚的に正確な HDR 画像を再構成するという困難なタスクが、視覚研究コミュニティで注目を集めています。
この研究課題における主な課題は、多様なシーン条件 (照明、影、天気、場所、風景、物体、人間、建物など) やさまざまな画像特徴 (色、コントラスト、彩度、色など) をキャプチャするデータセットが不足していることです。
色相、輝度、明るさ、放射輝度）。
このギャップに対処するために、このペーパーでは、GTA-V ビデオ ゲームからサンプリングされたフォトリアリスティックな HDR 画像の大規模合成データセットである GTA-HDR を紹介します。
提案されたデータセットの徹底的な評価を実行します。これにより、最先端の HDR 画像再構成手法の質的および量的向上が大幅に向上していることが実証されています。
さらに、提案されたデータセットの有効性と、3D 人間の姿勢推定、人体のパーツのセグメンテーション、全体的なシーンのセグメンテーションなどの追加のコンピューター ビジョン タスクに対するその影響を実証します。
データセット、データ収集パイプライン、評価コードは、https://github.com/HrisavBakulBarua/GTA-HDR から入手できます。

要約(オリジナル)

High Dynamic Range (HDR) content (i.e., images and videos) has a broad range of applications. However, capturing HDR content from real-world scenes is expensive and time- consuming. Therefore, the challenging task of reconstructing visually accurate HDR images from their Low Dynamic Range (LDR) counterparts is gaining attention in the vision research community. A major challenge in this research problem is the lack of datasets, which capture diverse scene conditions (e.g., lighting, shadows, weather, locations, landscapes, objects, humans, buildings) and various image features (e.g., color, contrast, saturation, hue, luminance, brightness, radiance). To address this gap, in this paper, we introduce GTA-HDR, a large-scale synthetic dataset of photo-realistic HDR images sampled from the GTA-V video game. We perform thorough evaluation of the proposed dataset, which demonstrates significant qualitative and quantitative improvements of the state-of-the-art HDR image reconstruction methods. Furthermore, we demonstrate the effectiveness of the proposed dataset and its impact on additional computer vision tasks including 3D human pose estimation, human body part segmentation, and holistic scene segmentation. The dataset, data collection pipeline, and evaluation code are available at: https://github.com/HrishavBakulBarua/GTA-HDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google