MORTAR: A Model-based Runtime Action Repair Framework for AI-enabled Cyber-Physical Systems

要約

サイバーフィジカル システム (CPS) は、ロボット操作から自動運転に至るまで、さまざまな産業および日常生活の分野でますます普及しています。
最近の人工知能 (AI) の進歩に伴い、学習ベースのコンポーネント、特に AI コントローラーが CPS の機能と効率を強化するために不可欠になっています。
ただし、これらの AI コントローラーには解釈可能性が欠如しているため、AI 対応 CPS (AI-CPS) の安全性と品質保証に課題が生じています。
AI コントローラーの安全性を向上させるための既存の方法には、多くの場合、ニューラル ネットワークの修復が含まれており、追加の敵対例による再トレーニングや、ニューラル ネットワークの詳細な内部情報へのアクセスが必要です。
したがって、これらのアプローチは、動作中に入力と出力のみにアクセスできるブラックボックス ポリシーへの適用が制限されます。
これを克服するために、本研究では AI-CPS 用に設計されたランタイム アクション修復フレームワークである MORTAR を提案します。
MORTAR は、AI コントローラーが提案するアクションの品質を予測する予測モデルを構築することから始めます。
安全でないアクションが検出された場合、MORTAR はそれを修正するための修復プロセスを開始します。
修復されたアクションの生成は、予測モデルからの安全性推定に基づいた最適化プロセスを通じて実現されます。
さまざまな CPS タスクと AI コントローラーにわたる MORTAR の有効性を評価します。
この結果は、MORTAR が指定された安全仕様の下で AI コントローラーのタスク完了率を効率的に向上できることを示しています。
一方で、計算オーバーヘッドも最小限に抑え、AI-CPS のリアルタイム動作を保証します。

要約(オリジナル)

Cyber-Physical Systems (CPSs) are increasingly prevalent across various industrial and daily-life domains, with applications ranging from robotic operations to autonomous driving. With recent advancements in artificial intelligence (AI), learning-based components, especially AI controllers, have become essential in enhancing the functionality and efficiency of CPSs. However, the lack of interpretability in these AI controllers presents challenges to the safety and quality assurance of AI-enabled CPSs (AI-CPSs). Existing methods for improving the safety of AI controllers often involve neural network repair, which requires retraining with additional adversarial examples or access to detailed internal information of the neural network. Hence, these approaches have limited applicability for black-box policies, where only the inputs and outputs are accessible during operation. To overcome this, we propose MORTAR, a runtime action repair framework designed for AI-CPSs in this work. MORTAR begins by constructing a prediction model that forecasts the quality of actions proposed by the AI controller. If an unsafe action is detected, MORTAR then initiates a repair process to correct it. The generation of repaired actions is achieved through an optimization process guided by the safety estimates from the prediction model. We evaluate the effectiveness of MORTAR across various CPS tasks and AI controllers. The results demonstrate that MORTAR can efficiently improve task completion rates of AI controllers under specified safety specifications. Meanwhile, it also maintains minimal computational overhead, ensuring real-time operation of the AI-CPSs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google