Benchmarking the Robustness of Panoptic Segmentation for Automated Driving

要約

運転支援および自動運転 (AAD) 機能の安全な意思決定には、正確な状況認識が必要です。
パノプティック セグメンテーションは、オブジェクト、差し迫った危険、走行可能な空間をピクセル レベルで識別および分類するための有望な認識技術です。
一般にセグメンテーションの品質はカメラ データの品質に関連していますが、AAD システム設計者にとっては、この関係を包括的に理解してモデリングすることが最も重要です。
このようなニーズに動機付けられたこの研究では、AAD のパノプティック セグメンテーション モデルの堅牢性を評価し、従来の画質と関連付けるための統合パイプラインを提案しています。
提案されたパイプラインの最初のステップでは、現実世界のノイズ要因を反映する劣化したカメラ データを生成します。
この目的を達成するために、19 のノイズ要因が特定され、3 つの重大度レベルで実装されています。
これらの要因のうち、この研究では不利な光と雪に対する新しいモデルを提案しています。
劣化モデルを適用した後、3 つの最先端の CNN およびビジョン トランスフォーマー (ViT) ベースのパノプティック セグメンテーション ネットワークを使用して、その堅牢性を分析します。
次に、セグメンテーション パフォーマンスの変動が、選択された 8 つの画質メトリクスと関連付けられます。
この調査により、次のことが明らかになりました。 1) 特定のノイズ要因は、パノプティック セグメンテーション、つまりレンズ上の液滴やガウス ノイズに最も大きな影響を与えます。
2) ViT ベースのパノプティック セグメンテーション バックボーンは、考慮されたノイズ要因に対して優れた堅牢性を示します。
3) 一部の画質メトリック (LPIPS や CW-SSIM など) はパノプティック セグメンテーションのパフォーマンスと強い相関があるため、ネットワーク パフォーマンスの予測メトリックとして使用できます。

要約(オリジナル)

Precise situational awareness is required for the safe decision-making of assisted and automated driving (AAD) functions. Panoptic segmentation is a promising perception technique to identify and categorise objects, impending hazards, and driveable space at a pixel level. While segmentation quality is generally associated with the quality of the camera data, a comprehensive understanding and modelling of this relationship are paramount for AAD system designers. Motivated by such a need, this work proposes a unifying pipeline to assess the robustness of panoptic segmentation models for AAD, correlating it with traditional image quality. The first step of the proposed pipeline involves generating degraded camera data that reflects real-world noise factors. To this end, 19 noise factors have been identified and implemented with 3 severity levels. Of these factors, this work proposes novel models for unfavourable light and snow. After applying the degradation models, three state-of-the-art CNN- and vision transformers (ViT)-based panoptic segmentation networks are used to analyse their robustness. The variations of the segmentation performance are then correlated to 8 selected image quality metrics. This research reveals that: 1) certain specific noise factors produce the highest impact on panoptic segmentation, i.e. droplets on lens and Gaussian noise; 2) the ViT-based panoptic segmentation backbones show better robustness to the considered noise factors; 3) some image quality metrics (i.e. LPIPS and CW-SSIM) correlate strongly with panoptic segmentation performance and therefore they can be used as predictive metrics for network performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google