LOWA: Localize Objects in the Wild with Attributes

要約

私たちは、野生の属性を持つオブジェクトを効果的に位置特定するための新しい方法である LOWA を紹介します。
これは、インスタンスレベルの属性分類とまれなクラス名の欠如によって制限されている、現在のオープン語彙オブジェクト検出器の不十分さに対処することを目的としています。
LOWA をトレーニングするために、クラス名と属性情報を使用してオブジェクトの検出と認識を学習するハイブリッド視覚言語トレーニング戦略を提案します。
LOWA を使用すると、ユーザーはクラス名でオブジェクトを検出できるだけでなく、属性によってオブジェクトをローカライズすることもできます。
LOWA は 2 タワーのビジョン言語アーキテクチャ上に構築されており、画像エンコーダとしての標準ビジョン トランスフォーマと、テキスト エンコーダとしての同様のトランスフォーマで構成されています。
インスタンス レベルでのビジュアル入力とテキスト入力の調整を学習するために、オブジェクト レベルのトレーニング、属性認識学習、オブジェクトと属性のフリーテキストの共同トレーニングという 3 つのトレーニング ステップで LOWA をトレーニングします。
このハイブリッド トレーニング戦略は、まず正しいオブジェクト検出を保証し、次にインスタンス レベルの属性情報を組み込み、最後にオブジェクト クラスと属性の感度のバランスをとります。
Open-Vocabulary Attribute Detection (OVAD) ベンチマークと Visual Attributes in the Wild (VAW) データセットで属性分類と属性ローカリゼーションのモデルのパフォーマンスを評価し、実験により強力なゼロショット パフォーマンスが示されました。
アブレーション研究はさらに、私たちのアプローチの各トレーニングステップの有効性を実証しています。

要約(オリジナル)

We present LOWA, a novel method for localizing objects with attributes effectively in the wild. It aims to address the insufficiency of current open-vocabulary object detectors, which are limited by the lack of instance-level attribute classification and rare class names. To train LOWA, we propose a hybrid vision-language training strategy to learn object detection and recognition with class names as well as attribute information. With LOWA, users can not only detect objects with class names, but also able to localize objects by attributes. LOWA is built on top of a two-tower vision-language architecture and consists of a standard vision transformer as the image encoder and a similar transformer as the text encoder. To learn the alignment between visual and text inputs at the instance level, we train LOWA with three training steps: object-level training, attribute-aware learning, and free-text joint training of objects and attributes. This hybrid training strategy first ensures correct object detection, then incorporates instance-level attribute information, and finally balances the object class and attribute sensitivity. We evaluate our model performance of attribute classification and attribute localization on the Open-Vocabulary Attribute Detection (OVAD) benchmark and the Visual Attributes in the Wild (VAW) dataset, and experiments indicate strong zero-shot performance. Ablation studies additionally demonstrate the effectiveness of each training step of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google