Side Adapter Network for Open-Vocabulary Semantic Segmentation

要約

このホワイト ペーパーでは、Side Adapter Network (SAN) と呼ばれる、事前にトレーニングされた視覚言語モデルを使用したオープン語彙のセマンティック セグメンテーションの新しいフレームワークを紹介します。
私たちのアプローチは、セマンティック セグメンテーション タスクを領域認識問題としてモデル化します。
サイド ネットワークは、マスクの提案を予測するためのブランチと、マスクのクラスを認識するために CLIP モデルに適用される注意バイアスを予測するための 2 つのブランチを持つ凍結された CLIP モデルに接続されます。
この分離された設計には、CLIP がマスク案のクラスを認識するという利点があります。
付属のサイドネットワークはCLIPの機能を再利用できるので、とても軽くできます。
さらに、ネットワーク全体をエンドツーエンドでトレーニングできるため、サイド ネットワークを凍結された CLIP モデルに適応させることができ、予測されたマスクの提案が CLIP 対応になります。
私たちのアプローチは高速で正確で、トレーニング可能なパラメーターをいくつか追加するだけです。
複数のセマンティック セグメンテーション ベンチマークでアプローチを評価します。
私たちの方法は、トレーニング可能なパラメーターが最大 18 分の 1 で、推論速度が 19 倍速く、他の対応する方法よりも大幅に優れています。
私たちのアプローチが堅実なベースラインとして機能し、オープン語彙のセマンティック セグメンテーションにおける将来の研究を容易にするのに役立つことを願っています。
コードは https://github.com/MendelXu/SAN で入手できます。

要約(オリジナル)

This paper presents a new framework for open-vocabulary semantic segmentation with the pre-trained vision-language model, named Side Adapter Network (SAN). Our approach models the semantic segmentation task as a region recognition problem. A side network is attached to a frozen CLIP model with two branches: one for predicting mask proposals, and the other for predicting attention bias which is applied in the CLIP model to recognize the class of masks. This decoupled design has the benefit CLIP in recognizing the class of mask proposals. Since the attached side network can reuse CLIP features, it can be very light. In addition, the entire network can be trained end-to-end, allowing the side network to be adapted to the frozen CLIP model, which makes the predicted mask proposals CLIP-aware. Our approach is fast, accurate, and only adds a few additional trainable parameters. We evaluate our approach on multiple semantic segmentation benchmarks. Our method significantly outperforms other counterparts, with up to 18 times fewer trainable parameters and 19 times faster inference speed. We hope our approach will serve as a solid baseline and help ease future research in open-vocabulary semantic segmentation. The code will be available at https://github.com/MendelXu/SAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google