A High Resolution Multi-exposure Stereoscopic Image & Video Database of Natural Scenes

要約

VRヘッドセット、ARメガネ、マルチビューディスプレイ、フリーポイントテレビなどの没入型ディスプレイは、近年、新しいクラスのディスプレイテクノロジーとして登場し、従来のディスプレイよりも優れた視覚体験と視聴者エンゲージメントを提供します。
3Dビデオおよびディスプレイ技術の進化に伴い、ハイダイナミックレンジ（HDR）カメラおよびディスプレイの消費者市場は急速に成長しています。
適切な実験データの欠如は、3DHDRビデオ技術の分野における主要な研究努力の発展にとって重大な障害です。
また、十分な実世界の多重露光実験データセットが利用できないことは、HDRイメージング研究の主要なボトルネックであり、それによって視聴者の体験の質（QoE）が制限されます。
この論文では、多様な動植物の生息地であるインド工科大学マドラス校のキャンパス内でキャプチャされた多様な立体マルチエクスポージャーデータセットを紹介します。
データセットはZEDステレオカメラを使用してキャプチャされ、庭園、道端の景色、お祭りの会場、建物などの屋外の場所、および学術や住宅地などの屋内の場所の複雑なシーンを提供します。
提案されたデータセットは、カメラの移動と背景の動きによってもたらされる重大なランダム性に加えて、広い深度範囲、複雑な深度構造、複雑なオブジェクトの動き、照明の変化、豊かな色のダイナミクス、テクスチャの不一致に対応します。
提案されたデータセットは、研究コミュニティに公開されます。
さらに、多重露光ステレオビデオおよび画像をキャプチャ、位置合わせ、およびキャリブレーションするための手順が詳細に説明されています。
最後に、HDRイメージング、深度推定、一貫したトーンマッピング、および3D HDRコーディングに関する進捗状況、課題、潜在的な使用例、および将来の研究機会について説明しました。

要約(オリジナル)

Immersive displays such as VR headsets, AR glasses, Multiview displays, Free point televisions have emerged as a new class of display technologies in recent years, offering a better visual experience and viewer engagement as compared to conventional displays. With the evolution of 3D video and display technologies, the consumer market for High Dynamic Range (HDR) cameras and displays is quickly growing. The lack of appropriate experimental data is a critical hindrance for the development of primary research efforts in the field of 3D HDR video technology. Also, the unavailability of sufficient real world multi-exposure experimental dataset is a major bottleneck for HDR imaging research, thereby limiting the quality of experience (QoE) for the viewers. In this paper, we introduce a diversified stereoscopic multi-exposure dataset captured within the campus of Indian Institute of Technology Madras, which is home to a diverse flora and fauna. The dataset is captured using ZED stereoscopic camera and provides intricate scenes of outdoor locations such as gardens, roadside views, festival venues, buildings and indoor locations such as academic and residential areas. The proposed dataset accommodates wide depth range, complex depth structure, complicate object movement, illumination variations, rich color dynamics, texture discrepancy in addition to significant randomness introduced by moving camera and background motion. The proposed dataset is made publicly available to the research community. Furthermore, the procedure for capturing, aligning and calibrating multi-exposure stereo videos and images is described in detail. Finally, we have discussed the progress, challenges, potential use cases and future research opportunities with respect to HDR imaging, depth estimation, consistent tone mapping and 3D HDR coding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google