Advanced Underwater Image Restoration in Complex Illumination Conditions

要約

水中画像の復元は、水中写真の出現以来、数十年にわたって困難な問題でした。
ほとんどのソリューションは、シーンが太陽光で均一に照らされる浅瀬のシナリオに焦点を当てています。
しかし、地図に載っていない水中地形の大部分は、自然光が不足しており、人工照明が必要な水深 200 メートルを超えたところにあります。
このような場合、光源がカメラと連動して移動するため、シーンの外観が動的に変化するため、浅瀬の復元方法は不十分になります。
特に多光源システム (最近では数十個の LED で構成されている) の場合、各光源の調整は時間がかかり、エラーが発生しやすく、面倒な作業です。また、重要なのはカメラの表示領域内に統合された照明のみであることがわかります。
個々の光源よりも。
したがって、この論文の重要なアイデアは、カメラの視錐台を横切るときの物体または海底の外観の変化を利用することです。
ランバーシアン曲面を想定した新しい制約により、対応する画像ピクセルがカメラの前のライトフィールドを制約し、ボクセルごとに信号係数と後方散乱値が体積グリッドに保存され、カメラ光の非常に効率的な画像復元に使用できます。
これにより、照明や媒体のアーティファクトが大部分を占めてしまう大規模な 3D モデルやマップの一貫したテクスチャリングが容易になります。
私たちのアプローチの有効性を検証するために、シミュレートされたデータセットと現実世界のデータセットで広範な実験を実施しました。
これらの実験の結果は、照明や媒体効果の影響を軽減しながら、オブジェクトの真のアルベドを復元する際の私たちのアプローチの堅牢性を示しています。
さらに、私たちのアプローチは、人工照明を使用した空中イメージングや他の同様のケースを含む他のシナリオにも容易に拡張できることを実証します。

要約(オリジナル)

Underwater image restoration has been a challenging problem for decades since the advent of underwater photography. Most solutions focus on shallow water scenarios, where the scene is uniformly illuminated by the sunlight. However, the vast majority of uncharted underwater terrain is located beyond 200 meters depth where natural light is scarce and artificial illumination is needed. In such cases, light sources co-moving with the camera, dynamically change the scene appearance, which make shallow water restoration methods inadequate. In particular for multi-light source systems (composed of dozens of LEDs nowadays), calibrating each light is time-consuming, error-prone and tedious, and we observe that only the integrated illumination within the viewing volume of the camera is critical, rather than the individual light sources. The key idea of this paper is therefore to exploit the appearance changes of objects or the seafloor, when traversing the viewing frustum of the camera. Through new constraints assuming Lambertian surfaces, corresponding image pixels constrain the light field in front of the camera, and for each voxel a signal factor and a backscatter value are stored in a volumetric grid that can be used for very efficient image restoration of camera-light platforms, which facilitates consistently texturing large 3D models and maps that would otherwise be dominated by lighting and medium artifacts. To validate the effectiveness of our approach, we conducted extensive experiments on simulated and real-world datasets. The results of these experiments demonstrate the robustness of our approach in restoring the true albedo of objects, while mitigating the influence of lighting and medium effects. Furthermore, we demonstrate our approach can be readily extended to other scenarios, including in-air imaging with artificial illumination or other similar cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google