Multi-scale Attentive Image De-raining Networks via Neural Architecture Search

要約

マルチスケール アーキテクチャとアテンション モジュールは、多くのディープ ラーニング ベースのイメージ デレイン法で有効性を示しています。
ただし、これら 2 つのコンポーネントを手動で設計してニューラル ネットワークに統合するには、多大な労力と広範な専門知識が必要です。
この記事では、高性能なマルチスケールの注意深いニューラル アーキテクチャ検索 (MANAS) フレームワークが、画像のデレイン化のために技術的に開発されています。
提案された方法は、画像の雨抜きタスクに適した複数の柔軟なモジュールを使用して、新しいマルチスケールの注意探索空間を定式化します。
探索空間の下に、マルチスケールの注意深いセルが構築され、さらに強力な画像デレイン ネットワークを構築するために使用されます。
雨抜きネットワークの内部マルチスケール注意深いアーキテクチャは、勾配ベースの検索アルゴリズムを介して自動的に検索され、手動設計の困難な手順をある程度回避します。
さらに、ロバストな画像雨除去モデルを取得するために、実用的で効果的な多対 1 トレーニング戦略も提示され、雨除去ネットワークが同じ背景シーンを持つ複数の雨の画像から十分な背景情報を取得できるようにします。
その間、外部損失、内部損失、アーキテクチャ正則化損失、モデル複雑性損失を含む複数の損失関数が共同で最適化され、堅牢なデレイン性能と制御可能なモデル複雑性を実現します。
合成および現実的な雨の画像の両方に関する広範な実験結果、および下流の視覚アプリケーション（つまり、オブジェクトの検出とセグメンテーション）は、提案された方法の優位性を一貫して示しています。
コードは https://github.com/lcai-gz/MANAS で公開されています。

要約(オリジナル)

Multi-scale architectures and attention modules have shown effectiveness in many deep learning-based image de-raining methods. However, manually designing and integrating these two components into a neural network requires a bulk of labor and extensive expertise. In this article, a high-performance multi-scale attentive neural architecture search (MANAS) framework is technically developed for image deraining. The proposed method formulates a new multi-scale attention search space with multiple flexible modules that are favorite to the image de-raining task. Under the search space, multi-scale attentive cells are built, which are further used to construct a powerful image de-raining network. The internal multiscale attentive architecture of the de-raining network is searched automatically through a gradient-based search algorithm, which avoids the daunting procedure of the manual design to some extent. Moreover, in order to obtain a robust image de-raining model, a practical and effective multi-to-one training strategy is also presented to allow the de-raining network to get sufficient background information from multiple rainy images with the same background scene, and meanwhile, multiple loss functions including external loss, internal loss, architecture regularization loss, and model complexity loss are jointly optimized to achieve robust de-raining performance and controllable model complexity. Extensive experimental results on both synthetic and realistic rainy images, as well as the down-stream vision applications (i.e., objection detection and segmentation) consistently demonstrate the superiority of our proposed method. The code is publicly available at https://github.com/lcai-gz/MANAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google