Using Surprise Index for Competency Assessment in Autonomous Decision-Making

要約

この論文では、特に動的で不確実な環境で作業する場合の、タスクを実行する自律システムの能力を評価する問題について考察します。
ユーザーの観点から見ると、機械学習モデルに固有の不透明さは、しばしば「ブラック ボックス」と表現され、課題を引き起こします。
これを克服するために、利用可能な測定データを活用して動的システムが期待どおりに動作するかどうかを定量化する、サプライズ指数と呼ばれる尺度を使用することを提案します。
我々は、確率モデルで証拠が観察されたとき、その証拠の結合分布が多変量ガウス周辺分布に従う場合、動的システムの驚き指数を閉じた形式で計算できることを示します。
次に、これを非線形宇宙船操縦問題に適用し、強化学習エージェントによってアクションが選択され、軌道が必要な軌道にどの程度追従しているかを示すことができることを示します。

要約(オリジナル)

This paper considers the problem of evaluating an autonomous system’s competency in performing a task, particularly when working in dynamic and uncertain environments. The inherent opacity of machine learning models, from the perspective of the user, often described as a `black box’, poses a challenge. To overcome this, we propose using a measure called the Surprise index, which leverages available measurement data to quantify whether the dynamic system performs as expected. We show that the surprise index can be computed in closed form for dynamic systems when observed evidence in a probabilistic model if the joint distribution for that evidence follows a multivariate Gaussian marginal distribution. We then apply it to a nonlinear spacecraft maneuver problem, where actions are chosen by a reinforcement learning agent and show it can indicate how well the trajectory follows the required orbit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google