OMG-Seg: Is One Model Good Enough For All Segmentation?

要約

この作業では、従来は個別のモデルまたは部分的に統合されたモデルによってそれぞれ取り組んでいたさまざまなセグメンテーション タスクに取り組みます。
私たちは、OMG-Seg を提案します。これは、画像セマンティック、インスタンス、パノプティックセグメンテーション、およびそれらのビデオ対応物、オープンボキャブラリー設定、プロンプト駆動型のインタラクティブセグメンテーションなど、すべてのセグメンテーションタスクを効率的かつ効果的に処理するのに十分な優れた 1 つのモデルです。
SAM、およびビデオ オブジェクト セグメンテーション。
私たちの知る限り、これはこれらすべてのタスクを 1 つのモデルで処理し、満足のいくパフォーマンスを達成した最初のモデルです。
タスク固有のクエリと出力を備えたトランスフォーマーベースのエンコーダー/デコーダー アーキテクチャである OMG-Seg が、10 を超える異なるセグメンテーション タスクをサポートしながら、さまざまなタスクとデータセットにわたる計算とパラメーターのオーバーヘッドを大幅に削減できることを示します。
共同トレーニング中にタスク間の影響と相関関係を厳密に評価します。
コードとモデルは https://github.com/lxtGH/OMG-Seg で入手できます。

要約(オリジナル)

In this work, we address various segmentation tasks, each traditionally tackled by distinct or partially unified models. We propose OMG-Seg, One Model that is Good enough to efficiently and effectively handle all the segmentation tasks, including image semantic, instance, and panoptic segmentation, as well as their video counterparts, open vocabulary settings, prompt-driven, interactive segmentation like SAM, and video object segmentation. To our knowledge, this is the first model to handle all these tasks in one model and achieve satisfactory performance. We show that OMG-Seg, a transformer-based encoder-decoder architecture with task-specific queries and outputs, can support over ten distinct segmentation tasks and yet significantly reduce computational and parameter overhead across various tasks and datasets. We rigorously evaluate the inter-task influences and correlations during co-training. Code and models are available at https://github.com/lxtGH/OMG-Seg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google