InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

要約

私たちは、コンピューター ビジョン タスクを人間の指示と調整するための統一された汎用フレームワークである InstructDiffusion を紹介します。
事前の知識を統合し、各視覚タスクの出力空間 (カテゴリや座標など) を事前に定義する既存のアプローチとは異なり、私たちは、出力空間が柔軟でインタラクティブなピクセル空間である人間の直観的な画像操作プロセスに多様な視覚タスクをキャストします。
。
具体的には、モデルは拡散プロセスに基づいて構築され、男性の左肩を赤で囲む、左の車に青いマスクを適用するなど、ユーザーの指示に従ってピクセルを予測するようにトレーニングされます。
InstructDiffusion は、理解タスク (セグメンテーションやキーポイント検出など) や生成タスク (編集や強化など) を含む、さまざまな視覚タスクを処理できます。
目に見えないタスクを処理する能力も示し、新しいデータセットでは以前の方法よりも優れたパフォーマンスを発揮します。
これは、コンピュータ ビジョンの分野における汎用人工知能を進歩させる、ビジョン タスク用のジェネラリスト モデリング インターフェイスに向けた重要な一歩を表しています。

要約(オリジナル)

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man’s left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google