Open-World Panoptic Segmentation

要約

知覚は、自動運転車などの自律的に動作するビジョン システムの重要な構成要素です。
これらのシステムが安全かつ堅牢に動作するには、周囲の状況を理解できることが重要です。
さらに、制約のない現実世界のシナリオに展開された自律システムは、これまでに見たことのない新しい状況やオブジェクトに対処できなければなりません。
この記事では、オープンワールドのパノプティック セグメンテーションの問題、つまり、テスト時に新しいセマンティック カテゴリと新しいオブジェクト インスタンスを発見し、同時に段階的に発見するカテゴリ間の一貫性を強化するタスクに取り組みます。
私たちは、オープンワールドのセマンティック セグメンテーションのために開発された以前の研究である ContMAV を拡張する、オープンワールド パノプティック セグメンテーションのアプローチである Con2MAV を提案します。
複数のデータセットにわたる広範な実験を通じて、私たちのモデルがオープンワールドのセグメンテーション タスクで最先端の結果を達成しながらも、既知のカテゴリで競争力のあるパフォーマンスを維持できることを示しました。
受け入れられ次第、実装をオープンソース化します。
さらに、自動運転シナリオにおけるオープンワールドのパノプティック セグメンテーションを評価するためのベンチマークである PANIC (Panoptic ANomalies In Context) を提案します。
このデータセットは、車に搭載されたマルチモーダル センサー スイートで記録され、セマンティック レベルとインスタンス レベルの両方で、異常なオブジェクトのピクセル単位の高品質な注釈を提供します。
私たちのデータセットには、50 を超える未知のクラス (トレーニング セットに現れないクラス) を含む 800 枚の画像と 4000 のオブジェクト インスタンスが含まれており、自動運転シナリオにおけるオープンワールドのセグメンテーション タスクにとっては非常に困難なデータセットとなっています。
非表示のテスト セットで複数のオープンワールド タスクのコンテストを提供します。
当社のデータセットとコンテストは https://www.ipb.uni-bonn.de/data/panic で入手できます。

要約(オリジナル)

Perception is a key building block of autonomously acting vision systems such as autonomous vehicles. It is crucial that these systems are able to understand their surroundings in order to operate safely and robustly. Additionally, autonomous systems deployed in unconstrained real-world scenarios must be able of dealing with novel situations and object that have never been seen before. In this article, we tackle the problem of open-world panoptic segmentation, i.e., the task of discovering new semantic categories and new object instances at test time, while enforcing consistency among the categories that we incrementally discover. We propose Con2MAV, an approach for open-world panoptic segmentation that extends our previous work, ContMAV, which was developed for open-world semantic segmentation. Through extensive experiments across multiple datasets, we show that our model achieves state-of-the-art results on open-world segmentation tasks, while still performing competitively on the known categories. We will open-source our implementation upon acceptance. Additionally, we propose PANIC (Panoptic ANomalies In Context), a benchmark for evaluating open-world panoptic segmentation in autonomous driving scenarios. This dataset, recorded with a multi-modal sensor suite mounted on a car, provides high-quality, pixel-wise annotations of anomalous objects at both semantic and instance level. Our dataset contains 800 images, with more than 50 unknown classes, i.e., classes that do not appear in the training set, and 4000 object instances, making it an extremely challenging dataset for open-world segmentation tasks in the autonomous driving scenario. We provide competitions for multiple open-world tasks on a hidden test set. Our dataset and competitions are available at https://www.ipb.uni-bonn.de/data/panic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google