‘Trust me on this’ Explaining Agent Behavior to a Human Terminator

要約

事前に訓練されたエージェントがある環境で動作しており、人間のオペレータがその動作を一時的に終了させ、ある期間引き継ぐことを決定できるような設定を考える。このようなシナリオは、自律走行、ファクトリーオートメーション、ヘルスケアなど、人間と機械の相互作用において一般的である。もしテイクオーバーが許されなければ、エージェントは最適でない、おそらく危険なポリシーを採用するかもしれない。あるいは、テイクオーバーが多すぎる場合、人間はエージェントを信頼できなくなり、その有用性は大きく制限される。本稿では、この設定を定式化し、人間の介入回数を最適化するための説明可能性スキームを提案する。

要約(オリジナル)

Consider a setting where a pre-trained agent is operating in an environment and a human operator can decide to temporarily terminate its operation and take-over for some duration of time. These kind of scenarios are common in human-machine interactions, for example in autonomous driving, factory automation and healthcare. In these settings, we typically observe a trade-off between two extreme cases — if no take-overs are allowed, then the agent might employ a sub-optimal, possibly dangerous policy. Alternatively, if there are too many take-overs, then the human has no confidence in the agent, greatly limiting its usefulness. In this paper, we formalize this setup and propose an explainability scheme to help optimize the number of human interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL