Scope Compliance Uncertainty Estimate

要約

デジタル時代の時代精神は、さまざまな領域にわたる多数のアプリケーションにおける人工知能 (AI) の統合の拡大によって支配されています。
しかし、この拡張により、これらの方法の安全性と信頼性に対する疑問がこれまで以上に重要になっています。
その結果、実行時 ML モデル安全システムは、特に自動運転車 (AV) など環境が大きく変化するアプリケーションにおいて、意図したコンテキスト内でのモデルの動作を保証するために開発されました。
SafeML は、トレーニング データセットと運用データセットの統計テストに基づく距離測定を使用して、このようなモニタリングを実行するためのモデルに依存しないアプローチです。
それらを所定のしきい値と比較し、観察されたデータのコンテキストでモデルを信頼すべきか、それとも信頼できないと見なすべきかのバイナリ値を返します。
このアプローチには体系的なフレームワークが存在しますが、そのパフォーマンスは次のことによって妨げられます。(1) 安全しきい値の選択に直接影響を及ぼし、そのためロバスト性に影響を与える可能性が高い多数の設計パラメータへの依存、(2) 特定の固有の仮定
(3) 比較的大きなセットの計算の複雑さ。
この研究では、二者択一の決定を連続的なメトリックに変更することで、これらの制限に対処しています。
さらに、ノンパラメトリックアプローチを実装することですべてのデータ分布の仮定が廃止され、経験的特性関数 (ECF) に基づく新しい距離測定を導入することで計算速度が向上しました。

要約(オリジナル)

The zeitgeist of the digital era has been dominated by an expanding integration of Artificial Intelligence~(AI) in a plethora of applications across various domains. With this expansion, however, questions of the safety and reliability of these methods come have become more relevant than ever. Consequently, a run-time ML model safety system has been developed to ensure the model’s operation within the intended context, especially in applications whose environments are greatly variable such as Autonomous Vehicles~(AVs). SafeML is a model-agnostic approach for performing such monitoring, using distance measures based on statistical testing of the training and operational datasets; comparing them to a predetermined threshold, returning a binary value whether the model should be trusted in the context of the observed data or be deemed unreliable. Although a systematic framework exists for this approach, its performance is hindered by: (1) a dependency on a number of design parameters that directly affect the selection of a safety threshold and therefore likely affect its robustness, (2) an inherent assumption of certain distributions for the training and operational sets, as well as (3) a high computational complexity for relatively large sets. This work addresses these limitations by changing the binary decision to a continuous metric. Furthermore, all data distribution assumptions are made obsolete by implementing non-parametric approaches, and the computational speed increased by introducing a new distance measure based on the Empirical Characteristics Functions~(ECF).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google