Lightweight Frequency Masker for Cross-Domain Few-Shot Semantic Segmentation

要約

クロスドメイン 少数ショット セグメンテーション (CD-FSS) は、最初に大規模なソース ドメイン データセットでモデルを事前トレーニングし、次にそのモデルをデータが不足しているターゲット ドメイン データセットに転送してピクセル レベルのセグメンテーションを行うために提案されています。
ソース データセットとターゲット データセット間のドメインの大きなギャップにより、クロスドメイン シナリオにおける既存の少数ショット セグメンテーション (FSS) 手法のパフォーマンスが大幅に低下します。
この研究では、興味深い現象を発見しました。ターゲット ドメインのさまざまな周波数成分をフィルタリングするだけで、パフォーマンスが大幅に向上し、場合によっては 14% mIoU に達する場合もあります。
次に、解釈のためにこの現象を詳しく調べたところ、そのような改善は特徴マップのチャネル間相関の減少に起因することがわかり、これにより、ドメイン ギャップに対する堅牢性が強化され、セグメンテーションの活性化領域が大きくなり、CD-FSS に利益がもたらされます。
これに基づいて、振幅位相マスカー (APM) モジュールと適応チャネル位相アテンション (ACPA) モジュールによってチャネル相関をさらに低減する軽量の周波数マスカーを提案します。
特に、APM はわずか 0.01% の追加パラメータを導入するだけで平均パフォーマンスが 10% 以上向上し、ACPA は 2.5% のパラメータのみをインポートしますが、さらに 1.5% 以上パフォーマンスが向上し、最先端の CD-FSS を大幅に上回っています。
方法。

要約(オリジナル)

Cross-domain few-shot segmentation (CD-FSS) is proposed to first pre-train the model on a large-scale source-domain dataset, and then transfer the model to data-scarce target-domain datasets for pixel-level segmentation. The significant domain gap between the source and target datasets leads to a sharp decline in the performance of existing few-shot segmentation (FSS) methods in cross-domain scenarios. In this work, we discover an intriguing phenomenon: simply filtering different frequency components for target domains can lead to a significant performance improvement, sometimes even as high as 14% mIoU. Then, we delve into this phenomenon for an interpretation, and find such improvements stem from the reduced inter-channel correlation in feature maps, which benefits CD-FSS with enhanced robustness against domain gaps and larger activated regions for segmentation. Based on this, we propose a lightweight frequency masker, which further reduces channel correlations by an amplitude-phase-masker (APM) module and an Adaptive Channel Phase Attention (ACPA) module. Notably, APM introduces only 0.01% additional parameters but improves the average performance by over 10%, and ACPA imports only 2.5% parameters but further improves the performance by over 1.5%, which significantly surpasses the state-of-the-art CD-FSS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google