Test-Time Adaptation for Nighttime Color-Thermal Semantic Segmentation

要約

夜間などの不利な視覚条件下でもシーンを理解できるため、RGB サーマル (RGB-T) セマンティック セグメンテーションの活発な研究が活発化しています。
しかし、それは基本的に 2 つの重大な問題によって妨げられています。1) RGB 画像の昼夜のギャップは熱画像の昼夜のギャップよりも大きい、2) 夜間の RGB 画像のクラスごとのパフォーマンスは一貫してそれより高いか低いわけではありません。
熱画像のこと。
私たちは、適応中にソース (日中) データにアクセスせずに夜間の RGBT セマンティック セグメンテーションの問題に対処するために、Night-TTA と呼ばれる最初のテスト時間適応 (TTA) フレームワークを提案します。
私たちの方法には 3 つの主要な技術的部分があります。
まず、1 つのモダリティ (RGB など) は他のモダリティ (熱など) よりも大きなドメイン ギャップに悩まされているため、イメージング異質性リファインメント (IHR) は、RGB および熱ブランチに基づく相互作用ブランチを採用して、クロスモーダルを防止します。
不一致とパフォーマンスの低下。
次に、Class Aware Refinement (CAR) が導入され、3 つのブランチのピクセルレベルの分布集計に基づいて信頼性の高いアンサンブル ロジットが取得されます。
さらに、TTA フレームワーク用の特定の学習スキームも設計します。これにより、アンサンブル ロジットと 3 人の学生ロジットが協力して学習し、夜間 TTA のテスト段階で予測の品質を向上させることができます。
広範な実験により、私たちの方法が mIoU で 13.07% 向上し、最先端 (SoTA) のパフォーマンスを達成できることが示されました。

要約(オリジナル)

The ability to scene understanding in adverse visual conditions, e.g., nighttime, has sparked active research for RGB-Thermal (RGB-T) semantic segmentation. However, it is essentially hampered by two critical problems: 1) the day-night gap of RGB images is larger than that of thermal images, and 2) the class-wise performance of RGB images at night is not consistently higher or lower than that of thermal images. we propose the first test-time adaptation (TTA) framework, dubbed Night-TTA, to address the problems for nighttime RGBT semantic segmentation without access to the source (daytime) data during adaptation. Our method enjoys three key technical parts. Firstly, as one modality (e.g., RGB) suffers from a larger domain gap than that of the other (e.g., thermal), Imaging Heterogeneity Refinement (IHR) employs an interaction branch on the basis of RGB and thermal branches to prevent cross-modal discrepancy and performance degradation. Then, Class Aware Refinement (CAR) is introduced to obtain reliable ensemble logits based on pixel-level distribution aggregation of the three branches. In addition, we also design a specific learning scheme for our TTA framework, which enables the ensemble logits and three student logits to collaboratively learn to improve the quality of predictions during the testing phase of our Night TTA. Extensive experiments show that our method achieves state-of-the-art (SoTA) performance with a 13.07% boost in mIoU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google