LMQFormer: A Laplace-Prior-Guided Mask Query Transformer for Lightweight Snow Removal

要約

【タイトル】軽量除雪のためのラプラス・プライオリガイド・マスククエリートランスフォーマー：LMQFormer

【要約】

– 除雪は雪の領域を見つけ、痕跡を修復せずにクリーンな画像を復元することを目的とします。
– 雨の規則性と半透明性とは異なり、様々なパターンと退化を持つ雪は背景を重度に遮蔽します。
– 現代の除雪方法は、通常、大きなパラメーターサイズを保持するため、軽量で高効率な除雪ネットワークが必要です。
– この論文では、ラプラス・マスク・クエリー・トランスフォーマー（LMQFormer）という軽量ながら高効率な除雪ネットワークを提案しています。
– まず、Laplace-VQVAEを提案し、雪の粗いマスクを優先的な知識として生成します。
– データセット内のマスクを使用する代わりに、雪の情報エントロピーと回復の計算コストの両方を削減することを目的としています。
– 次に、クラスマスクで雪を除去するマスククエリートランスフォーマー（MQFormer）を設計し、2つの並列エンコーダとハイブリッドデコーダを使用して、軽量要件の下で広範な雪の特徴を学習します。
– 最後に、コースマスクを特定のクエリに変換し、パラメータを削減してMQFormerの注意領域を制限する複製マスククエリーアテンション（DMQA）を開発します。
– 人気のあるデータセットでの実験結果は、提案されたモデルの効率性を示し、大幅に削減されたパラメーターと最も低いランニングタイムで最新の除雪品質を達成しています。

要約(オリジナル)

Snow removal aims to locate snow areas and recover clean images without repairing traces. Unlike the regularity and semitransparency of rain, snow with various patterns and degradations seriously occludes the background. As a result, the state-of-the-art snow removal methods usually retains a large parameter size. In this paper, we propose a lightweight but high-efficient snow removal network called Laplace Mask Query Transformer (LMQFormer). Firstly, we present a Laplace-VQVAE to generate a coarse mask as prior knowledge of snow. Instead of using the mask in dataset, we aim at reducing both the information entropy of snow and the computational cost of recovery. Secondly, we design a Mask Query Transformer (MQFormer) to remove snow with the coarse mask, where we use two parallel encoders and a hybrid decoder to learn extensive snow features under lightweight requirements. Thirdly, we develop a Duplicated Mask Query Attention (DMQA) that converts the coarse mask into a specific number of queries, which constraint the attention areas of MQFormer with reduced parameters. Experimental results in popular datasets have demonstrated the efficiency of our proposed model, which achieves the state-of-the-art snow removal quality with significantly reduced parameters and the lowest running time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI