Adverse Weather-Immune Semantic Segmentation with Unfolded Regularization and Foundation Model Knowledge Distillation for Autonomous Driving

要約

さまざまな悪天候は、自動運転 (AD) の街路シーンの意味理解 (セグメンテーション) に重大な課題をもたらします。
一般的な戦略は、晴天時と悪天候時に撮影された画像間の差異を最小限に抑えることです。
ただし、この手法は通常、鮮明な画像を参照として利用することに依存しており、実際にそれを取得するのは困難です。
さらに、この方法は通常、単一の悪天候を対象とするため、複数の悪天候が混在する場合にはパフォーマンスが低下します。
これらの問題に対処するために、短期間 (秒) にわたる気象条件の不変性を利用する、参照フリーの逆天候免疫スキーム (AdvImmu と呼ばれる) を導入します。
具体的には、AdvImmu には、ローカル シーケンシャル メカニズム (LSM)、グローバル シャッフル メカニズム (GSM)、および展開されたレガライザー (UR) の 3 つのコンポーネントが含まれています。
LSM は、隣接するフレーム間の時間的相関を利用してモデルのパフォーマンスを向上させます。
GSM は、時間的パターンの過学習を防ぐために LSM セグメントをシャッフルすることが提案されています。
UR は、モデルの複雑さを軽減して全天候の一般化を強化する、提案されている 2 つの正則化子の深く展開された実装です。
さらに、AdvImmu のトレーニングにおける連続したフレーム単位のアノテーションへの過度の依存 (通常、AD シナリオでは利用できない) を克服するために、フレームにアノテーションを付けるのを支援する Segment Anything Model (SAM) という基盤モデルを組み込み、さらに
クラスタ アルゴリズム (SBIAC と表記) を使用して、SAM のカテゴリに依存しない問題を克服し、擬似ラベルを生成します。
広範な実験により、提案された AdvImmu が既存の最先端の方法より平均交差対和 (mIoU) で 88.56% 優れていることが実証されました。

要約(オリジナル)

Various adverse weather conditions pose a significant challenge to autonomous driving (AD) street scene semantic understanding (segmentation). A common strategy is to minimize the disparity between images captured in clear and adverse weather conditions. However, this technique typically relies on utilizing clear image as a reference, which is challenging to obtain in practice. Furthermore, this method typically targets a single adverse condition, and thus perform poorly when confronting a mixture of multiple adverse weather conditions. To address these issues, we introduce a reference-free and Adverse weather-Immune scheme (called AdvImmu) that leverages the invariance of weather conditions over short periods (seconds). Specifically, AdvImmu includes three components: Locally Sequential Mechanism (LSM), Globally Shuffled Mechanism (GSM), and Unfolded Regularizers (URs). LSM leverages temporal correlations between adjacent frames to enhance model performance. GSM is proposed to shuffle LSM segments to prevent overfitting of temporal patterns. URs are the deep unfolding implementation of two proposed regularizers to penalize the model complexity to enhance across-weather generalization. In addition, to overcome the over-reliance on consecutive frame-wise annotations in the training of AdvImmu (typically unavailable in AD scenarios), we incorporate a foundation model named Segment Anything Model (SAM) to assist to annotate frames, and additionally propose a cluster algorithm (denoted as SBICAC) to surmount SAM’s category-agnostic issue to generate pseudo-labels. Extensive experiments demonstrate that the proposed AdvImmu outperforms existing state-of-the-art methods by 88.56% in mean Intersection over Union (mIoU).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google