STARNet: Sensor Trustworthiness and Anomaly Recognition via Approximated Likelihood Regret for Robust Edge Autonomy

要約

LiDAR、RADAR、イベント カメラなどの複雑なセンサーは、環境の認識と理解を強化するために自律ロボット工学で急増しています。
一方、これらのセンサーは、動作環境と複雑に相互作用する可能性があるさまざまな障害メカニズムに対して脆弱でもあります。
同時に、複雑なセンサーでのトレーニング データの利用可能性が限られているため、深層学習ベースの予測フローの信頼性にも影響があり、トレーニング セットで適切にキャプチャされていない環境に対して予測モデルが一般化できない可能性があります。
これらの信頼性に関する懸念に対処するために、この文書では、センサーの故障や困難な環境から生じる可能性のある信頼できないセンサー ストリームを検出するように設計されたセンサーの信頼性および異常認識ネットワークである STARNet を紹介します。
特に、LiDAR とカメラ データに関して STARNet のベンチマークを行います。
STARNet は、近似尤度リグレスの概念を採用しています。これは、複雑さの低いハードウェア、特に固定小数点精度のみの機能を備えたハードウェア向けに調整された勾配のないフレームワークです。
広範なシミュレーションを通じて、ユニモーダルおよびマルチモーダル設定における信頼できないセンサー ストリームの検出における STARNet の有効性を実証します。
特に、ネットワークは、センサー間の干渉やクロストークなどの内部センサーの障害に対処する際に優れたパフォーマンスを示します。
悪天候やセンサーの故障を伴うさまざまなテスト シナリオにおいて、STARNet が信頼できないセンサー ストリームをフィルタリングして除外することにより、予測精度が約 10% 向上することを示しました。
STARNet は \url{https://github.com/sinatayebati/STARNet} で公開されています。

要約(オリジナル)

Complex sensors such as LiDAR, RADAR, and event cameras have proliferated in autonomous robotics to enhance perception and understanding of the environment. Meanwhile, these sensors are also vulnerable to diverse failure mechanisms that can intricately interact with their operation environment. In parallel, the limited availability of training data on complex sensors also affects the reliability of their deep learning-based prediction flow, where their prediction models can fail to generalize to environments not adequately captured in the training set. To address these reliability concerns, this paper introduces STARNet, a Sensor Trustworthiness and Anomaly Recognition Network designed to detect untrustworthy sensor streams that may arise from sensor malfunctions and/or challenging environments. We specifically benchmark STARNet on LiDAR and camera data. STARNet employs the concept of approximated likelihood regret, a gradient-free framework tailored for low-complexity hardware, especially those with only fixed-point precision capabilities. Through extensive simulations, we demonstrate the efficacy of STARNet in detecting untrustworthy sensor streams in unimodal and multimodal settings. In particular, the network shows superior performance in addressing internal sensor failures, such as cross-sensor interference and crosstalk. In diverse test scenarios involving adverse weather and sensor malfunctions, we show that STARNet enhances prediction accuracy by approximately 10% by filtering out untrustworthy sensor streams. STARNet is publicly available at \url{https://github.com/sinatayebati/STARNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google