Learning A Physical-aware Diffusion Model Based on Transformer for Underwater Image Enhancement

要約

水中のビジュアルはさまざまな複雑な劣化を受け、必然的に水中ビジョン作業の効率に影響を与えます。
最近、拡散モデルが水中画像強調 (UIE) タスクに採用され、SOTA パフォーマンスが向上しました。
しかし、これらの方法では拡散過程における物理的特性や水中画像化メカニズムが考慮されておらず、拡散モデルの情報補完能力が制限されています。
この論文では、拡散プロセスを導くために物理学の知識を活用するように設計された PA-Diff という新しい UIE フレームワークを紹介します。
PA-Diff は、Physics Prior Generation (PPG) ブランチ、Implicit Neural Reconstruction (INR) ブランチ、および Physics-aware Diffusion Transformer (PDT) ブランチで構成されます。
私たちが設計した PPG ブランチは、物理学の事前知識を生み出すことを目的としています。
物理学の事前知識を利用して拡散プロセスをガイドすることで、PDT ブランチは水中を認識する能力を獲得し、現実世界の水中シーンの複雑な分布をモデル化できます。
INR ブランチは、暗黙的なニューラル表現を介して多様な水中画像から堅牢な特徴表現を学習できるため、PDT ブランチの復元の困難さが軽減されます。
広範な実験により、私たちの方法が UIE タスクで最高のパフォーマンスを達成できることが証明されました。

要約(オリジナル)

Underwater visuals undergo various complex degradations, inevitably influencing the efficiency of underwater vision tasks. Recently, diffusion models were employed to underwater image enhancement (UIE) tasks, and gained SOTA performance. However, these methods fail to consider the physical properties and underwater imaging mechanisms in the diffusion process, limiting information completion capacity of diffusion models. In this paper, we introduce a novel UIE framework, named PA-Diff, designed to exploiting the knowledge of physics to guide the diffusion process. PA-Diff consists of Physics Prior Generation (PPG) Branch, Implicit Neural Reconstruction (INR) Branch, and Physics-aware Diffusion Transformer (PDT) Branch. Our designed PPG branch aims to produce the prior knowledge of physics. With utilizing the physics prior knowledge to guide the diffusion process, PDT branch can obtain underwater-aware ability and model the complex distribution in real-world underwater scenes. INR Branch can learn robust feature representations from diverse underwater image via implicit neural representation, which reduces the difficulty of restoration for PDT branch. Extensive experiments prove that our method achieves best performance on UIE tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google