DiffPrompter: Differentiable Implicit Visual Prompts for Semantic-Segmentation in Adverse Conditions

要約

悪天候シナリオにおけるセマンティック セグメンテーションは、自動運転システムにとって重要なタスクです。
基礎モデルは有望であることが示されていますが、より困難なシナリオを処理するには、特殊なアダプターの必要性が明らかになります。
基礎モデルにおける既存のアダプターの学習機能を拡張することを目的とした、新しい微分可能な視覚的および潜在的なプロンプト メカニズムである DiffPrompter を紹介します。
私たちが提案する $\nabla$HFC 画像処理ブロックは、従来の方法では不十分な場合が多い悪天候条件で特に優れています。
さらに、視覚的プロンプトと潜在的プロンプトを共同でトレーニングする利点を調査し、この組み合わせたアプローチが配布外シナリオでのパフォーマンスを大幅に向上させることを実証しました。
当社の差別化可能な視覚的プロンプトは、並列および直列のアーキテクチャを利用してプロンプトを生成し、悪条件下でのオブジェクトのセグメンテーション タスクを効果的に改善します。
包括的な一連の実験と評価を通じて、私たちはアプローチの有効性を裏付ける経験的証拠を提供します。
プロジェクト ページ (https://diffprompter.github.io)。

要約(オリジナル)

Semantic segmentation in adverse weather scenarios is a critical task for autonomous driving systems. While foundation models have shown promise, the need for specialized adaptors becomes evident for handling more challenging scenarios. We introduce DiffPrompter, a novel differentiable visual and latent prompting mechanism aimed at expanding the learning capabilities of existing adaptors in foundation models. Our proposed $\nabla$HFC image processing block excels particularly in adverse weather conditions, where conventional methods often fall short. Furthermore, we investigate the advantages of jointly training visual and latent prompts, demonstrating that this combined approach significantly enhances performance in out-of-distribution scenarios. Our differentiable visual prompts leverage parallel and series architectures to generate prompts, effectively improving object segmentation tasks in adverse conditions. Through a comprehensive series of experiments and evaluations, we provide empirical evidence to support the efficacy of our approach. Project page at https://diffprompter.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google