SegGPT: Segmenting Everything In Context

要約

タイトル：SegGPT：コンテキスト内のすべてをセグメンテーションするための手法

要約：
– SegGPTは、さまざまなセグメンテーションタスクを統合する一般的なモデルです。
– セグメンテーションデータを画像の同じ形式に変換して、さまざまなセグメンテーションタスクを統一されたフレームワークで解決できます。
– SegGPTのトレーニングは、コンテキスト内の色付け問題として定式化され、各データサンプルに対してランダムな色マッピングを行います。
– SegGPTは、コンテキストに応じて複数のタスクを実行するための目的を持ちます。訓練後、物体インスタンス、スタッフ、パーツ、輪郭、テキストなどの任意のセグメンテーションタスクを実行できます。
– SegGPTは、少数のショットセマンティックセグメンテーション、ビデオオブジェクトセグメンテーション、セマンティックセグメンテーション、およびパノプティックセグメンテーションなど、多数のタスクで評価されます。
– 結果は、品質や定量的にも、ドメイン内およびドメイン外のターゲットのセグメンテーションの強力な能力を示しています。

要約(オリジナル)

We present SegGPT, a generalist model for segmenting everything in context. We unify various segmentation tasks into a generalist in-context learning framework that accommodates different kinds of segmentation data by transforming them into the same format of images. The training of SegGPT is formulated as an in-context coloring problem with random color mapping for each data sample. The objective is to accomplish diverse tasks according to the context, rather than relying on specific colors. After training, SegGPT can perform arbitrary segmentation tasks in images or videos via in-context inference, such as object instance, stuff, part, contour, and text. SegGPT is evaluated on a broad range of tasks, including few-shot semantic segmentation, video object segmentation, semantic segmentation, and panoptic segmentation. Our results show strong capabilities in segmenting in-domain and out-of-domain targets, either qualitatively or quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI