PIDSR:ComplementaryPolarizedImageDemosaicingandSuper-Resolution

要約

偏光カメラは、単一ショットで異なる偏光子角を持つ複数の偏光画像をキャプチャでき、偏光ベースのダウンストリームタスクに利便性をもたらすことができます。
ただし、それらの直接出力は、カラー偏光フィルターアレイ（CPFA）の生画像であり、完全な解像度のフルカラー偏光画像を再構築するためにデモ装飾が必要です。
残念ながら、この必要なステップは、偏光の程度（DOP）や偏光角（AOP）などの偏光関連のパラメーターを作成するアーティファクトを導入します。
その上、ハードウェア設計によって制限されているため、偏光カメラの解像度は、従来のRGBカメラの解像度よりもはるかに低いことがよくあります。
既存の偏光画像デモザイシング（PID）メソッドは解像度を強化できないという点で制限されていますが、偏光画像スーパー解像度（PISR）メソッドは、デモザイシング結果から高解像度（HR）偏光画像を取得するように設計されていますが、DOPおよびAOPの誤った誤差を保持または増幅するように設計されています。
この論文では、PIDSRを提案します。PIDSRは、補完的な偏光画像デモサと超解像度を実行する共同フレームワークであり、CPFA RAW画像からより正確なDOPとAOPを使用して高品質のHR偏光画像を直接的に取得する能力を示しています。
実験は、PIDSRが合成データと実際のデータの両方で最先端のパフォーマンスを達成するだけでなく、下流のタスクを促進することを示しています。

要約(オリジナル)

Polarization cameras can capture multiple polarized images with different polarizer angles in a single shot, bringing convenience to polarization-based downstream tasks. However, their direct outputs are color-polarization filter array (CPFA) raw images, requiring demosaicing to reconstruct full-resolution, full-color polarized images; unfortunately, this necessary step introduces artifacts that make polarization-related parameters such as the degree of polarization (DoP) and angle of polarization (AoP) prone to error. Besides, limited by the hardware design, the resolution of a polarization camera is often much lower than that of a conventional RGB camera. Existing polarized image demosaicing (PID) methods are limited in that they cannot enhance resolution, while polarized image super-resolution (PISR) methods, though designed to obtain high-resolution (HR) polarized images from the demosaicing results, tend to retain or even amplify errors in the DoP and AoP introduced by demosaicing artifacts. In this paper, we propose PIDSR, a joint framework that performs complementary Polarized Image Demosaicing and Super-Resolution, showing the ability to robustly obtain high-quality HR polarized images with more accurate DoP and AoP from a CPFA raw image in a direct manner. Experiments show our PIDSR not only achieves state-of-the-art performance on both synthetic and real data, but also facilitates downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google