A Mountain-Shaped Single-Stage Network for Accurate Image Restoration

要約

タイトル: 正確な画像復元のための山形単一ステージネットワーク
要約:
– 画像復元は、ぼやけや雨滴などで汚れた入力画像から高品質の画像を得ることを目的とする。
– 画像復元では、空間の詳細と文脈情報の複雑なバランスを維持する必要がある。
– 複数ステージのネットワークは、これらの競合する目標を最適にバランスすることができるが、それに余分な複雑さが伴う。
– 本論文では、U-Netアーキテクチャに基づく山形ステージ単一設計を提案する。これにより、不要な非線形活性化関数を削除することで、低システム複雑性で上記のバランスを実現する。
– 具体的には、機能融合ミドルウェア（FFM）メカニズムを提案し、エンコーダーデコーダーのアーキテクチャレベル間の情報交換部品として使用する。これにより、上位レイヤーの情報を下位層にシームレスに統合し、最終的にすべての情報が元の画像解像度操作レベルに融合される。
– さらに、エンコーダーとデコーダーの間のブリッジとしてマルチヘッドアテンション中ブロック（MHAMB）を提案し、CNNの受容野の制限を超えてよりグローバルな情報を取り込む。
– 広範な実験により、M3SNetと呼ばれるアプローチが、画像の除雨や除汚染などのいくつかの画像復元タスクにおいて、以前の最先端モデルを上回り、半分以下の計算コストで積極的な性能を発揮することが示された。

要約(オリジナル)

Image restoration is the task of aiming to obtain a high-quality image from a corrupt input image, such as deblurring and deraining. In image restoration, it is typically necessary to maintain a complex balance between spatial details and contextual information. Although a multi-stage network can optimally balance these competing goals and achieve significant performance, this also increases the system’s complexity. In this paper, we propose a mountain-shaped single-stage design base on a simple U-Net architecture, which removes or replaces unnecessary nonlinear activation functions to achieve the above balance with low system complexity. Specifically, we propose a feature fusion middleware (FFM) mechanism as an information exchange component between the encoder-decoder architectural levels. It seamlessly integrates upper-layer information into the adjacent lower layer, sequentially down to the lowest layer. Finally, all information is fused into the original image resolution manipulation level. This preserves spatial details and integrates contextual information, ensuring high-quality image restoration. In addition, we propose a multi-head attention middle block (MHAMB) as a bridge between the encoder and decoder to capture more global information and surpass the limitations of the receptive field of CNNs. Extensive experiments demonstrate that our approach, named as M3SNet, outperforms previous state-of-the-art models while using less than half the computational costs, for several image restoration tasks, such as image deraining and deblurring.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI