PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model

要約

PSALM は、セグメンテーション タスクの課題に対処するための大規模マルチモーダル モデル (LMM) の強力な拡張機能です。
テキスト出力に限定される LMM の制限を克服するために、PSALM にはマスク デコーダーと適切に設計された入力スキーマが組み込まれており、さまざまなセグメンテーション タスクを処理できます。
このスキーマには、画像、タスク指示、条件付きプロンプト、およびマスク トークンが含まれており、これらによりモデルはセグメンテーション マスクを効果的に生成および分類できます。
PSALM の柔軟な設計は、複数のデータセットとタスクにわたる共同トレーニングをサポートし、パフォーマンスの向上とタスクの一般化につながります。
PSALM は、RefCOCO/RefCOCO+/RefCOCOg、COCO Panoptic Segmentation、COCO-Interactive などのいくつかのベンチマークで優れた結果を達成し、さらに、オープン語彙セグメンテーション、一般化された参照表現セグメンテーション、ビデオ オブジェクトなどの目に見えないタスクでゼロショット機能を発揮します。
セグメンテーションにより、コンピュータ ビジョンにおける GPT の瞬間に向けて重要な一歩を踏み出すことができます。
広範な実験を通じて、PSALM は、自然言語処理で見られる LMM の堅牢な視覚理解機能を活用して、画像セグメンテーションの領域を変革する可能性を実証します。
コードとモデルは https://github.com/zamling/PSALM で入手できます。

要約(オリジナル)

PSALM is a powerful extension of the Large Multi-modal Model (LMM) to address the segmentation task challenges. To overcome the limitation of the LMM being limited to textual output, PSALM incorporates a mask decoder and a well-designed input schema to handle a variety of segmentation tasks. This schema includes images, task instructions, conditional prompts, and mask tokens, which enable the model to generate and classify segmentation masks effectively. The flexible design of PSALM supports joint training across multiple datasets and tasks, leading to improved performance and task generalization. PSALM achieves superior results on several benchmarks, such as RefCOCO/RefCOCO+/RefCOCOg, COCO Panoptic Segmentation, and COCO-Interactive, and further exhibits zero-shot capabilities on unseen tasks, such as open-vocabulary segmentation, generalized referring expression segmentation and video object segmentation, making a significant step towards a GPT moment in computer vision. Through extensive experiments, PSALM demonstrates its potential to transform the domain of image segmentation, leveraging the robust visual understanding capabilities of LMMs as seen in natural language processing. Code and models are available at https://github.com/zamling/PSALM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google