Deformation-Invariant Neural Network and Its Applications in Distorted Image Restoration and Analysis

要約

幾何学的歪みによって劣化した画像は、画像処理や物体認識などのコンピュータ ビジョン タスクに重大な課題をもたらします。
深層学習ベースのイメージング モデルは通常、幾何学的に歪んだ画像に対して正確なパフォーマンスを提供できません。
この論文では、幾何学的に歪んだ画像のイメージング タスクの問題に対処するフレームワークである変形不変ニューラル ネットワーク (DINN) を提案します。
DINN は、幾何学的に歪んでいるが、基礎となる同じオブジェクトまたはシーンを表す画像に対して、一貫した潜在特徴を出力します。
DINN のアイデアは、準等角変換ネットワーク (QCTN) と呼ばれる単純なコンポーネントを、イメージング タスクのために他の既存のディープ ネットワークに組み込むことです。
QCTN は、準等角マップを出力するディープ ニューラル ネットワークです。このマップを使用すると、幾何学的に歪んだ画像を、自然な画像や良好な画像の分布により近い改善されたバージョンに変換できます。
まず、出力変形マップの準適合性を測定するベルトラミ係数を出力します。
ベルトラミ係数を制御することにより、準等角写像における局所的な幾何学的歪みを制御することができる。
QCTN は軽量でシンプルなので、他の既存のディープ ニューラル ネットワークに簡単に統合してパフォーマンスを向上させることができます。
私たちのフレームワークを活用して、歪んだ画像を正確に分類する画像分類ネットワークを開発しました。
私たちが提案したフレームワークは、大気の乱流と水の乱流によって幾何学的に歪んだ画像を復元するために適用されています。
DINN は、これらのシナリオの下で既存の GAN ベースの復元手法を上回っており、提案されたフレームワークの有効性を示しています。
さらに、私たちが提案したフレームワークを大気乱流下での人間の顔画像の 1-1 検証に適用し、満足のいくパフォーマンスを達成し、私たちのアプローチの有効性をさらに実証しました。

要約(オリジナル)

Images degraded by geometric distortions pose a significant challenge to imaging and computer vision tasks such as object recognition. Deep learning-based imaging models usually fail to give accurate performance for geometrically distorted images. In this paper, we propose the deformation-invariant neural network (DINN), a framework to address the problem of imaging tasks for geometrically distorted images. The DINN outputs consistent latent features for images that are geometrically distorted but represent the same underlying object or scene. The idea of DINN is to incorporate a simple component, called the quasiconformal transformer network (QCTN), into other existing deep networks for imaging tasks. The QCTN is a deep neural network that outputs a quasiconformal map, which can be used to transform a geometrically distorted image into an improved version that is closer to the distribution of natural or good images. It first outputs a Beltrami coefficient, which measures the quasiconformality of the output deformation map. By controlling the Beltrami coefficient, the local geometric distortion under the quasiconformal mapping can be controlled. The QCTN is lightweight and simple, which can be readily integrated into other existing deep neural networks to enhance their performance. Leveraging our framework, we have developed an image classification network that achieves accurate classification of distorted images. Our proposed framework has been applied to restore geometrically distorted images by atmospheric turbulence and water turbulence. DINN outperforms existing GAN-based restoration methods under these scenarios, demonstrating the effectiveness of the proposed framework. Additionally, we apply our proposed framework to the 1-1 verification of human face images under atmospheric turbulence and achieve satisfactory performance, further demonstrating the efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google