Class-agnostic Object Detection with Multi-modal Transformer

要約

オブジェクトを構成するものは何ですか？
これは、コンピュータビジョンにおける長年の質問です。
この目標に向けて、客観性を評価するために、学習のない学習ベースのアプローチが数多く開発されています。
ただし、通常、新しいドメインや新しいオブジェクト間で適切に拡張することはできません。
この論文では、既存の方法には、人間が理解できるセマンティクスによって制御されるトップダウンの監視信号が欠けていることを提唱します。
文献で初めて、整列された画像とテキストのペアでトレーニングされたマルチモーダルビジョントランスフォーマー（MViT）がこのギャップを効果的に埋めることができることを示します。
さまざまなドメインと新しいオブジェクトにわたる広範な実験により、画像内の一般的なオブジェクトをローカライズするためのMViTの最先端のパフォーマンスが示されています。
既存のMViTにはマルチスケールの特徴処理が含まれておらず、通常はより長いトレーニングスケジュールが必要であるという観察に基づいて、マルチスケールの変形可能な注意と後期視覚言語融合を使用して効率的なMViTアーキテクチャを開発します。
オープンワールドオブジェクト検出、顕著およびカモフラージュオブジェクト検出、監視ありおよび自己監視ありの検出タスクなど、さまざまなアプリケーションでのMViT提案の重要性を示します。
さらに、MViTは、特定の言語クエリを指定して提案を適応的に生成できるため、対話性が向上します。
コード：\url{https://git.io/J1HPY}。

要約(オリジナル)

What constitutes an object? This has been a long-standing question in computer vision. Towards this goal, numerous learning-free and learning-based approaches have been developed to score objectness. However, they generally do not scale well across new domains and novel objects. In this paper, we advocate that existing methods lack a top-down supervision signal governed by human-understandable semantics. For the first time in literature, we demonstrate that Multi-modal Vision Transformers (MViT) trained with aligned image-text pairs can effectively bridge this gap. Our extensive experiments across various domains and novel objects show the state-of-the-art performance of MViTs to localize generic objects in images. Based on the observation that existing MViTs do not include multi-scale feature processing and usually require longer training schedules, we develop an efficient MViT architecture using multi-scale deformable attention and late vision-language fusion. We show the significance of MViT proposals in a diverse range of applications including open-world object detection, salient and camouflage object detection, supervised and self-supervised detection tasks. Further, MViTs can adaptively generate proposals given a specific language query and thus offer enhanced interactability. Code: \url{https://git.io/J1HPY}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google