Checklist to Transparently Define Test Oracles for TP, FP, and FN Objects in Automated Driving

要約

運転自動化システムの認識サブシステム用の一般的なテスト オラクルは、真陽性 (TP)、偽陽性 (FP)、および偽陰性 (FN) オブジェクトを識別します。
Oracle の透明性は、テスト結果を比較したり、安全性を考慮したりするために必要です。
現在まで、この分野では TP、FP、および FN という共通の概念が存在しますが、彼らのオラクルを包括的に定義する公開された方法はないようです。
したがって、このホワイトペーパーでは、Oracle の動作に影響を与える機能面と実装の詳細のチェックリストを提供します。
テストセットのラベル付けポリシーに加えて、視野、閉塞処理、安全関連領域、マッチング基準、時間的および確率的問題、およびさらなる側面もカバーします。
私たちのチェックリストは形式化することがほとんどできませんが、実践者がオラクルの透明性を最大限に高めるのに役立ち、その結果、オブジェクトの認識に関する記述の信頼性と比較性が高まります。

要約(オリジナル)

Popular test oracles for the perception subsystem of driving automation systems identify true-positive (TP), false-positive (FP), and false-negative (FN) objects. Oracle transparency is needed for comparing test results and for safety cases. To date, there exists a common notion of TPs, FPs, and FNs in the field, but apparently no published way to comprehensively define their oracles. Therefore, this paper provides a checklist of functional aspects and implementation details that affect the oracle behavior. Besides labeling policies of the test set, we cover fields of view, occlusion handling, safety-relevant areas, matching criteria, temporal and probabilistic issues, and further aspects. Even though our checklist can hardly be formalized, it can help practitioners maximize the transparency of their oracles, which, in turn, makes statements on object perception more reliable and comparable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google