Robustness Assessment of a Runway Object Classifier for Safe Aircraft Taxiing

要約

ディープ ニューラル ネットワーク (DNN) が多くの計算問題に対する有力なソリューションになりつつあるため、航空業界はパイロットの作業負荷の軽減と運航の安全性の向上におけるその可能性を探ろうとしています。
ただし、この種の安全性が重要なアプリケーションで DNN を使用するには、徹底した認証プロセスが必要です。
このニーズは、例えば特定の予測ミスがないことを証明するなど、厳密な保証を提供する正式な検証を通じて対処することができます。
このケーススタディ ペーパーでは、エアバスで現在開発中で、航空機の地上走行段階での使用を目的とした画像分類器 DNN を使用して、このプロセスを実証します。
私たちは形式的な手法を使用して、ノイズ、明るさ、コントラスト、およびそれらの組み合わせの 3 つの一般的な画像摂動タイプに対するこの DNN の堅牢性を評価します。
このプロセスでは、基礎となるベリファイアを複数回呼び出す必要があり、計算コストが高くなる可能性があります。
したがって、必要な検証クエリの総数を 60% 近く削減するために、これらの堅牢性特性の単調性と過去の検証クエリの結果を活用する方法を提案します。
私たちの結果は、研究中の DNN 分類器によって達成される堅牢性のレベルを示しており、明るさやコントラストの乱れよりもノイズに対してはるかに脆弱であることを示しています。

要約(オリジナル)

As deep neural networks (DNNs) are becoming the prominent solution for many computational problems, the aviation industry seeks to explore their potential in alleviating pilot workload and in improving operational safety. However, the use of DNNs in this type of safety-critical applications requires a thorough certification process. This need can be addressed through formal verification, which provides rigorous assurances — e.g.,~by proving the absence of certain mispredictions. In this case-study paper, we demonstrate this process using an image-classifier DNN currently under development at Airbus and intended for use during the aircraft taxiing phase. We use formal methods to assess this DNN’s robustness to three common image perturbation types: noise, brightness and contrast, and some of their combinations. This process entails multiple invocations of the underlying verifier, which might be computationally expensive; and we therefore propose a method that leverages the monotonicity of these robustness properties, as well as the results of past verification queries, in order to reduce the overall number of verification queries required by nearly 60%. Our results provide an indication of the level of robustness achieved by the DNN classifier under study, and indicate that it is considerably more vulnerable to noise than to brightness or contrast perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google