LMQFormer: A Laplace-Prior-Guided Mask Query Transformer for Lightweight Snow Removal

要約

除雪は、痕跡を修復せずに雪の領域を特定し、きれいな画像を回復することを目的としています。
規則正しく半透明な雨とは異なり、さまざまなパターンや劣化を伴う雪は、背景を深刻に覆い隠します。
その結果、最先端の除雪方法では通常、大きなパラメータ サイズが維持されます。
この論文では、Laplace Mask Query Transformer (LMQFormer) と呼ばれる軽量で高効率の除雪ネットワークを提案します。
まず、ラプラス VQVAE を提示して、雪の事前知識として粗いマスクを生成します。
データセットでマスクを使用する代わりに、雪の情報エントロピーと回復の計算コストの両方を削減することを目指しています。
次に、粗いマスクで雪を除去するマスク クエリ トランスフォーマー (MQFormer) を設計します。ここでは、2 つの並列エンコーダーとハイブリッド デコーダーを使用して、軽量要件の下で広範な雪の特徴を学習します。
3 番目に、粗いマスクを特定の数のクエリに変換する重複マスク クエリ アテンション (DMQA) を開発します。
一般的なデータセットでの実験結果は、提案されたモデルの効率を実証しており、大幅に削減されたパラメーターと最短の実行時間で最先端の除雪品質を実現しています。

要約(オリジナル)

Snow removal aims to locate snow areas and recover clean images without repairing traces. Unlike the regularity and semitransparency of rain, snow with various patterns and degradations seriously occludes the background. As a result, the state-of-the-art snow removal methods usually retains a large parameter size. In this paper, we propose a lightweight but high-efficient snow removal network called Laplace Mask Query Transformer (LMQFormer). Firstly, we present a Laplace-VQVAE to generate a coarse mask as prior knowledge of snow. Instead of using the mask in dataset, we aim at reducing both the information entropy of snow and the computational cost of recovery. Secondly, we design a Mask Query Transformer (MQFormer) to remove snow with the coarse mask, where we use two parallel encoders and a hybrid decoder to learn extensive snow features under lightweight requirements. Thirdly, we develop a Duplicated Mask Query Attention (DMQA) that converts the coarse mask into a specific number of queries, which constraint the attention areas of MQFormer with reduced parameters. Experimental results in popular datasets have demonstrated the efficiency of our proposed model, which achieves the state-of-the-art snow removal quality with significantly reduced parameters and the lowest running time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google