Multi-level Attention-guided Graph Neural Network for Image Restoration

要約

近年、深い学習は、画像修復の分野で顕著な成功を収めています。
ただし、ほとんどの畳み込みニューラルネットワークベースの方法は、通常、単一のスケールに焦点を当てており、マルチスケール情報の組み込みを無視しています。
画像修復タスクでは、画像のローカル機能は不十分であるため、グローバルな機能を補完する必要があります。
最近のニューラルネットワークアルゴリズムは機能抽出に大きな進歩を遂げていますが、多くのモデルはグローバルな機能を明示的にモデル化したり、グローバルな機能とローカル機能の関係を考慮したりしません。
このペーパーでは、マルチレベルの注意誘導グラフニューラルネットワークを提案しています。
提案されたネットワークは、マルチアテンションメカニズムを使用して、フィーチャマップ内の要素ブロックグラフと要素グラフを明示的に構築し、局所的な構造的特徴と画像のグローバル表現情報の両方を抽出します。
ネットワークは、画像の劣化中にグローバル情報を効果的に抽出するのに苦労しているため、ローカル機能ブロックの構造情報を使用して、グローバル情報を修正および補完することができます。
同様に、機能マップの要素ブロック情報が欠落している場合、グローバル要素表現情報を使用して洗練できます。
ネットワーク内のグラフは、マルチアテンションメカニズムを介してリアルタイムの動的接続を学習し、情報はグラフ畳み込みアルゴリズムを介して伝播および集約されます。
ローカル要素ブロック情報と機能マップからグローバル要素表現情報を組み合わせることにより、アルゴリズムは画像内の欠落情報をより効果的に復元できます。
いくつかの古典的な画像修復タスクの実験結果は、提案された方法の有効性を示し、最先端のパフォーマンスを達成します。

要約(オリジナル)

In recent years, deep learning has achieved remarkable success in the field of image restoration. However, most convolutional neural network-based methods typically focus on a single scale, neglecting the incorporation of multi-scale information. In image restoration tasks, local features of an image are often insufficient, necessitating the integration of global features to complement them. Although recent neural network algorithms have made significant strides in feature extraction, many models do not explicitly model global features or consider the relationship between global and local features. This paper proposes multi-level attention-guided graph neural network. The proposed network explicitly constructs element block graphs and element graphs within feature maps using multi-attention mechanisms to extract both local structural features and global representation information of the image. Since the network struggles to effectively extract global information during image degradation, the structural information of local feature blocks can be used to correct and supplement the global information. Similarly, when element block information in the feature map is missing, it can be refined using global element representation information. The graph within the network learns real-time dynamic connections through the multi-attention mechanism, and information is propagated and aggregated via graph convolution algorithms. By combining local element block information and global element representation information from the feature map, the algorithm can more effectively restore missing information in the image. Experimental results on several classic image restoration tasks demonstrate the effectiveness of the proposed method, achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google