Cross-Stitched Multi-task Dual Recursive Networks for Unified Single Image Deraining and Desnowing

要約

マルチタスク学習設定での統一された排水と除雪のタスクをターゲットとするクロスステッチ マルチタスク統合デュアル再帰ネットワーク (CMUDRN) モデルを提示します。
この統合モデルは、Cai らによって開発された基本的な Dual Recursive Network (DRN) アーキテクチャから借用しています。
提案されたモデルは、2 つの個別の DRN モデルにわたるマルチタスク学習を可能にするクロスステッチ ユニットを利用します。それぞれのモデルは、それぞれ単一のイメージのデレインと雪解けを担当します。
基本的なタスク固有の DRN ネットワークのいくつかのレイヤーでクロスステッチ ユニットを固定することにより、2 つの個別の DRN モデルでマルチタスク学習を実行します。
ブラインド画像の復元を可能にするために、これらの構造の上に、各 DRN の出力をマージする単純なニューラル フュージョン スキームを採用しています。
個別のタスク固有の DRN モデルと融合スキームは、ローカルおよびグローバルな監督を実施することによって同時にトレーニングされます。
ローカル監視は 2 つの DRN サブモジュールに適用され、グローバル監視は提案されたモデルのデータ フュージョン サブモジュールに適用されます。
その結果、タスク固有の DRN モデル間で機能共有を有効にし、DRN サブモジュールのイメージ復元動作を制御します。
アブレーション研究は、仮定された CMUDRN モデルの強度を示しており、実験では、単一画像の雨降ろしおよび除雪タスクで、そのパフォーマンスがベースラインの DRN モデルと同等またはそれ以上であることが示されています。
さらに、CMUDRN は、単純なパラメトリック フュージョン スキームを介してタスク固有の画像復元パイプラインを統合することにより、2 つの基になる画像復元タスクのブラインド画像復元を可能にします。
CMUDRN の実装は、https://github.com/VCL3D/CMUDRN で入手できます。

要約(オリジナル)

We present the Cross-stitched Multi-task Unified Dual Recursive Network (CMUDRN) model targeting the task of unified deraining and desnowing in a multi-task learning setting. This unified model borrows from the basic Dual Recursive Network (DRN) architecture developed by Cai et al. The proposed model makes use of cross-stitch units that enable multi-task learning across two separate DRN models, each tasked for single image deraining and desnowing, respectively. By fixing cross-stitch units at several layers of basic task-specific DRN networks, we perform multi-task learning over the two separate DRN models. To enable blind image restoration, on top of these structures we employ a simple neural fusion scheme which merges the output of each DRN. The separate task-specific DRN models and the fusion scheme are simultaneously trained by enforcing local and global supervision. Local supervision is applied on the two DRN submodules, and global supervision is applied on the data fusion submodule of the proposed model. Consequently, we both enable feature sharing across task-specific DRN models and control the image restoration behavior of the DRN submodules. An ablation study shows the strength of the hypothesized CMUDRN model, and experiments indicate that its performance is comparable or better than baseline DRN models on the single image deraining and desnowing tasks. Moreover, CMUDRN enables blind image restoration for the two underlying image restoration tasks, by unifying task-specific image restoration pipelines via a naive parametric fusion scheme. The CMUDRN implementation is available at https://github.com/VCL3D/CMUDRN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google