Self-trained Panoptic Segmentation

要約

パノプティック セグメンテーションは、セマンティック セグメンテーションとインスタンス セグメンテーションを組み合わせた重要なコンピュータ ビジョン タスクです。
視覚環境の包括的な理解を提供することで、医療画像分析、自動運転車、ロボット工学の分野で重要な役割を果たします。
従来、深層学習パノプティック セグメンテーション モデルは、高密度で正確に注釈が付けられたトレーニング データに依存していましたが、その取得には費用と時間がかかりました。
自己教師あり学習アプローチの最近の進歩により、合成データとラベルなしデータを活用して、自己トレーニングを使用して擬似ラベルを生成し、インスタンスおよびセマンティック セグメンテーション モデルのパフォーマンスを向上させる大きな可能性が示されています。
自己監視型パノプティック セグメンテーションに利用可能な 3 つの方法は、計算コストが高く、複雑で、特定のタスク向けに設計された提案ベースのトランスフォーマー アーキテクチャを使用します。
この研究の目的は、合成から実ドメインへの適応問題設定での自己学習を使用して、埋め込みベースの自己教師ありパノプティック セグメンテーションを実行するフレームワークを開発することです。

要約(オリジナル)

Panoptic segmentation is an important computer vision task which combines semantic and instance segmentation. It plays a crucial role in domains of medical image analysis, self-driving vehicles, and robotics by providing a comprehensive understanding of visual environments. Traditionally, deep learning panoptic segmentation models have relied on dense and accurately annotated training data, which is expensive and time consuming to obtain. Recent advancements in self-supervised learning approaches have shown great potential in leveraging synthetic and unlabelled data to generate pseudo-labels using self-training to improve the performance of instance and semantic segmentation models. The three available methods for self-supervised panoptic segmentation use proposal-based transformer architectures which are computationally expensive, complicated and engineered for specific tasks. The aim of this work is to develop a framework to perform embedding-based self-supervised panoptic segmentation using self-training in a synthetic-to-real domain adaptation problem setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google