Aligning and Prompting Everything All at Once for Universal Visual Perception

要約

近年、汎用的な視覚システムを構築するために、視覚基盤モデルが研究されている。しかし、インスタンスレベルのタスクをオブジェクトと単語のアライメントに見立てたパラダイムが主流であり、クロスモダリティの相互作用が大きく、オブジェクトの検出や視覚的グラウンディングに有効ではない。画素レベルのタスクに焦点を当てた別の研究では、モノとコトの大きなアノテーションギャップにしばしば遭遇し、前景オブジェクトと背景クラスのセグメンテーションの相互干渉に悩まされる。従来の方法とは対照的に、我々は、インスタンスレベルの文-物体マッチングパラダイムとして、検出、セグメンテーション、およびグラウンディングという多様なタスクを実行するために、画像内の全てのものを一度に整列し、促すための普遍的な視覚認識モデルであるAPEを提示する。具体的には、APEは、言語ガイド付きグラウンディングをオープン語彙検出として再構成することで、検出とグラウンディングの収束を進め、クロスモダリティ融合の有効性を維持しながら、モデルプロンプトを数千のカテゴリ語彙と領域記述に効率的に拡張する。異なるピクセルレベルのタスクの粒度のギャップを埋めるために、APEはセマンティックセグメンテーションとパノプティックセグメンテーションを均等化し、孤立した領域を個々のインスタンスとみなすことで、代理インスタンス学習を行う。APEは、タスク固有の微調整を行うことなく、自然で困難な特性を持つ広範なデータ上の視覚と言語表現を一度に調整する。160以上のデータセットを用いた広範な実験により、APEは、たった1つの重みを設定するだけで、最先端のモデルを凌駕する（あるいは同等である）ことが実証され、あらゆる整列とプロンプトのための効果的かつ普遍的な知覚が実際に実現可能であることが証明された。コードと学習済みモデルはhttps://github.com/shenyunhang/APE。

要約(オリジナル)

Vision foundation models have been explored recently to build general-purpose vision systems. However, predominant paradigms, driven by casting instance-level tasks as an object-word alignment, bring heavy cross-modality interaction, which is not effective in prompting object detection and visual grounding. Another line of work that focuses on pixel-level tasks often encounters a large annotation gap of things and stuff, and suffers from mutual interference between foreground-object and background-class segmentation. In stark contrast to the prevailing methods, we present APE, a universal visual perception model for aligning and prompting everything all at once in an image to perform diverse tasks, i.e., detection, segmentation, and grounding, as an instance-level sentence-object matching paradigm. Specifically, APE advances the convergence of detection and grounding by reformulating language-guided grounding as open-vocabulary detection, which efficiently scales up model prompting to thousands of category vocabularies and region descriptions while maintaining the effectiveness of cross-modality fusion. To bridge the granularity gap of different pixel-level tasks, APE equalizes semantic and panoptic segmentation to proxy instance learning by considering any isolated regions as individual instances. APE aligns vision and language representation on broad data with natural and challenging characteristics all at once without task-specific fine-tuning. The extensive experiments on over 160 datasets demonstrate that, with only one-suit of weights, APE outperforms (or is on par with) the state-of-the-art models, proving that an effective yet universal perception for anything aligning and prompting is indeed feasible. Codes and trained models are released at https://github.com/shenyunhang/APE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL