OpenDAS: Open-Vocabulary Domain Adaptation for Segmentation

要約

最近、視覚言語モデル (VLM) は、事前定義されたオブジェクト クラスの閉じたセットの従来のセグメンテーションからオープン語彙セグメンテーション (OVS) に移行することにより、高度なセグメンテーション技術を導入し、ユーザーが言語モデルのトレーニング中に目に見えない新しいクラスや概念をセグメント化できるようになりました。
セグメンテーションモデル。
ただし、この柔軟性にはトレードオフが伴います。完全に監視された閉集合メソッドは、基底クラス、つまり明示的にトレーニングされたクラスに対する OVS メソッドよりも優れたパフォーマンスを発揮します。
これは、VLM 用のピクセル調整されたトレーニング マスク (画像とキャプションのペアでトレーニングされる) が不足していることと、自動運転などのドメイン固有の知識が不足していることが原因です。
したがって、オープン語彙の性質を維持しながら、ドメイン固有の知識を VLM に注入するためのオープン語彙ドメイン適応タスクを提案します。
そうすることで、基本クラスと新規クラスのパフォーマンスが向上します。
既存の VLM 適応方法は、ベース (トレーニング) クエリのパフォーマンスを向上させますが、新しいクエリでは VLM のオープンセット機能を完全には維持できません。
この欠点に対処するために、パラメーター効率の高いプロンプト調整と、補助的な否定クエリを使用する三重項損失ベースのトレーニング戦略を組み合わせます。
特に、私たちのアプローチは、新しいクラスで元の VLM を一貫して上回る、パラメーター効率の高い唯一の方法です。
当社の適応された VLM は、既存の OVS パイプラインにシームレスに統合できます。たとえば、他の変更を加えることなく、オープン語彙 2D セグメンテーションの場合、ADE20K で OVSeg が +6.0% mIoU 向上し、オープン語彙 3D インスタンス セグメンテーションの場合、ScanNet++ Offices で OpenMask3D が +4.1% AP 向上します。
。

要約(オリジナル)

Recently, Vision-Language Models (VLMs) have advanced segmentation techniques by shifting from the traditional segmentation of a closed-set of predefined object classes to open-vocabulary segmentation (OVS), allowing users to segment novel classes and concepts unseen during training of the segmentation model. However, this flexibility comes with a trade-off: fully-supervised closed-set methods still outperform OVS methods on base classes, that is on classes on which they have been explicitly trained. This is due to the lack of pixel-aligned training masks for VLMs (which are trained on image-caption pairs), and the absence of domain-specific knowledge, such as autonomous driving. Therefore, we propose the task of open-vocabulary domain adaptation to infuse domain-specific knowledge into VLMs while preserving their open-vocabulary nature. By doing so, we achieve improved performance in base and novel classes. Existing VLM adaptation methods improve performance on base (training) queries, but fail to fully preserve the open-set capabilities of VLMs on novel queries. To address this shortcoming, we combine parameter-efficient prompt tuning with a triplet-loss-based training strategy that uses auxiliary negative queries. Notably, our approach is the only parameter-efficient method that consistently surpasses the original VLM on novel classes. Our adapted VLMs can seamlessly be integrated into existing OVS pipelines, e.g., improving OVSeg by +6.0% mIoU on ADE20K for open-vocabulary 2D segmentation, and OpenMask3D by +4.1% AP on ScanNet++ Offices for open-vocabulary 3D instance segmentation without other changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google