Diagnostic Runtime Monitoring with Martingales

要約

セーフティクリティカルなロボット環境に導入された機械学習システムは、流通の変化に対して堅牢である必要があります。
ただし、システム設計者は、適切な介入または緩和戦略を実装し、システム障害を防ぐために、分散シフトの原因を理解する必要があります。
この論文では、複数の確率的マーチンゲールを同時に展開することにより、ストリーミング形式で分布の変化を診断するための新しいフレームワークを紹介します。
ディストリビューションの変化の根本的な原因を知ることで、展開されたシステムのライフサイクル全体にわたって適切な介入が可能になることを示します。
私たちの実験フレームワークは、さまざまなタイプの分布シフト、モデル、データセットに簡単に適応できます。
私たちの方法は、速度、精度、柔軟性の点で分布の変化を診断する既存の研究よりも優れていることがわかり、シミュレートされたハードウェア設定と実際のハードウェア設定の両方でモデルの効率が検証されました。

要約(オリジナル)

Machine learning systems deployed in safety-critical robotics settings must be robust to distribution shifts. However, system designers must understand the cause of a distribution shift in order to implement the appropriate intervention or mitigation strategy and prevent system failure. In this paper, we present a novel framework for diagnosing distribution shifts in a streaming fashion by deploying multiple stochastic martingales simultaneously. We show that knowledge of the underlying cause of a distribution shift can lead to proper interventions over the lifecycle of a deployed system. Our experimental framework can easily be adapted to different types of distribution shifts, models, and datasets. We find that our method outperforms existing work on diagnosing distribution shifts in terms of speed, accuracy, and flexibility, and validate the efficiency of our model in both simulated and live hardware settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google