Label-Free Model Failure Detection for Lidar-based Point Cloud Segmentation

要約

自動運転車は毎年何百万マイルもの道路を走行しています。
このような状況では、展開された機械学習モデルは、一見正常な状況と外れ値の存在下で故障する傾向があります。
ただし、トレーニング段階では、小さな検証とテストセットでのみ評価されます。これらは、シナリオのカバレッジが限られているためモデルの障害を明らかにすることができません。
評価のために大規模で代表的なラベルのあるデータセットを取得することは困難で高価ですが、通常、大規模な非標識データセットが利用可能です。
この作業では、LIDARベースのポイントクラウドセグメンテーションのラベルフリーモデル障害検出を導入し、利用可能な豊富な非標識データを活用します。
障害モードを検出するために、同じタスクに対して監視された自己監視されたストリームをトレーニングすることにより、さまざまなデータ特性を活用します。
大規模な定性分析を実行し、広範な定量分析のために、実際のライダーデータにラベル付けされた異常を備えた最初の公開データセットであるLidarcodaを提示します。

要約(オリジナル)

Autonomous vehicles drive millions of miles on the road each year. Under such circumstances, deployed machine learning models are prone to failure both in seemingly normal situations and in the presence of outliers. However, in the training phase, they are only evaluated on small validation and test sets, which are unable to reveal model failures due to their limited scenario coverage. While it is difficult and expensive to acquire large and representative labeled datasets for evaluation, large-scale unlabeled datasets are typically available. In this work, we introduce label-free model failure detection for lidar-based point cloud segmentation, taking advantage of the abundance of unlabeled data available. We leverage different data characteristics by training a supervised and self-supervised stream for the same task to detect failure modes. We perform a large-scale qualitative analysis and present LidarCODA, the first publicly available dataset with labeled anomalies in real-world lidar data, for an extensive quantitative analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google