Images Speak in Images: A Generalist Painter for In-Context Visual Learning

要約

文脈内学習は、自然言語処理における新しいパラダイムとして、わずかなプロンプトと例でモデルを様々なタスクに迅速に適応させることができるようになる。しかし、コンピュータビジョンにおいては、タスクの出力表現が大きく異なるため、ビジョンモデルが理解し、領域外のタスクに転送できる汎用的なタスクプロンプトをどのように定義するかが不明確であることがインコンテキスト学習の難しさである。本研究では、画像中心の解決策、すなわち、視覚タスクの出力を画像として再定義し、タスクプロンプトも画像として指定することで、これらの障害に対処する汎化モデルPainterを発表する。この考え方に基づき、我々の学習過程は極めてシンプルであり、入力と出力の画像ペアのスティッチに対して標準的なマスク画像モデリングを行うだけである。これにより、可視画像パッチを条件とするタスクを実行することができるモデルとなる。したがって、推論時には、同じタスクの入力画像と出力画像のペアを入力条件として採用し、どのタスクを実行すべきかを示すことができる。 本論文では、高レベルの視覚理解から低レベルの画像処理まで、7つの代表的な視覚タスクに対して、タスクに特化したモデルと比較して、汎用のPainterが競争力のある性能を達成することができることを示す。Painterは、いくつかの困難なタスクにおいて、最近の一般的なモデルを大幅に上回る性能を示した。また、意外なことに、我々のモデルは、オープンカテゴリのキーポイント検出や物体分割など、学習データには存在しない領域外のタスクを完了する能力を示し、文脈内学習の強力なタスクトランスファー性を検証する。

要約(オリジナル)

In-context learning, as a new paradigm in NLP, allows the model to rapidly adapt to various tasks with only a handful of prompts and examples. But in computer vision, the difficulties for in-context learning lie in that tasks vary significantly in the output representations, thus it is unclear how to define the general-purpose task prompts that the vision model can understand and transfer to out-of-domain tasks. In this work, we present Painter, a generalist model which addresses these obstacles with an ‘image’-centric solution, that is, to redefine the output of core vision tasks as images, and specify task prompts as also images. With this idea, our training process is extremely simple, which performs standard masked image modeling on the stitch of input and output image pairs. This makes the model capable of performing tasks conditioned on visible image patches. Thus, during inference, we can adopt a pair of input and output images from the same task as the input condition, to indicate which task to perform. Without bells and whistles, our generalist Painter can achieve competitive performance compared to well-established task-specific models, on seven representative vision tasks ranging from high-level visual understanding to low-level image processing. Painter significantly outperforms recent generalist models on several challenging tasks. Surprisingly, our model shows capabilities of completing out-of-domain tasks, which do not exist in the training data, such as open-category keypoint detection and object segmentation, validating the powerful task transferability of in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL