The Key of Understanding Vision Tasks: Explanatory Instructions

要約

コンピューター ビジョン (CV) は、大規模なトランスフォーマー モデル、広範な事前トレーニング、自動処理など、NLP で確立された多くのマイルストーンに従っているにもかかわらず、自然言語処理 (NLP) で観察されるゼロショット タスクの一般化をまだ完全には達成していません。
回帰パラダイムなど。
この論文では、CV が離散的で用語的なタスク定義 (\例: 「画像セグメンテーション」) を採用しているが、これがゼロショット タスクの一般化に対する重要な障壁となる可能性があるという考えを検討します。
私たちの仮説は、これらの用語定義により、これまでに見たタスクを真に理解していないと、深層モデルは新しいタスクに一般化するのに苦労するというものです。
これを検証するために、入力画像から出力への詳細な言語変換を通じて CV タスクの目標を定義する直感的な方法を提供する説明指示を紹介します。
1,200 万個の「画像入力 $\to$ 説明命令 $\to$ 出力」トリプレットで構成される大規模なデータセットを作成し、両方を取得する自己回帰ベースの視覚言語モデル (AR ベースの VLM) をトレーニングします。
画像と説明指示を入力として使用します。
これらの指示に従うことを学習することにより、AR ベースの VLM は、以前に確認されたタスクに対して指示レベルのゼロショット機能を実現し、未確認の CV タスクに対して強力なゼロショット一般化を実証します。
コードとデータセットは、GitHub リポジトリでオープンに利用できるようになります。

要約(オリジナル)

Computer Vision (CV) has yet to fully achieve the zero-shot task generalization observed in Natural Language Processing (NLP), despite following many of the milestones established in NLP, such as large transformer models, extensive pre-training, and the auto-regression paradigm, among others. In this paper, we explore the idea that CV adopts discrete and terminological task definitions (\eg, “image segmentation”), which may be a key barrier to zero-shot task generalization. Our hypothesis is that without truly understanding previously-seen tasks–due to these terminological definitions–deep models struggle to generalize to novel tasks. To verify this, we introduce Explanatory Instructions, which provide an intuitive way to define CV task objectives through detailed linguistic transformations from input images to outputs. We create a large-scale dataset comprising 12 million “image input $\to$ explanatory instruction $\to$ output” triplets, and train an auto-regressive-based vision-language model (AR-based VLM) that takes both images and explanatory instructions as input. By learning to follow these instructions, the AR-based VLM achieves instruction-level zero-shot capabilities for previously-seen tasks and demonstrates strong zero-shot generalization for unseen CV tasks. Code and dataset will be openly available on our GitHub repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google