State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding

要約

AI 以外の専門家が日常業務で複雑な AI システムを使用することが増えるにつれ、AI の専門家以外にも理解できる AI の意思決定の説明を生成する方法を開発する取り組みが増加しています。
この取り組みに向けて、より高いレベルの概念を活用し、概念に基づいた説明を作成することが一般的な方法となっています。
ほとんどの概念ベースの説明は分類技術のために開発されており、逐次的な意思決定のための既存のいくつかの方法は範囲が限られていると考えられます。
この作業では、最初に、逐次的な意思決定の設定における概念を定義するための要望を提供します。
さらに、知識を説明すると自己学習が強化されることが多いという弟子効果に触発され、RL エージェントの意思決定を概念に基づいて説明することでエージェントの学習率がどのように向上し、エンドユーザーの意思決定の理解がどのように向上するかを調査します。
エージェントの意思決定。
この目的を達成するために、私たちは統合フレームワークである State2 Explain (S2E) を提供します。これには、状態と行動のペアと概念ベースの説明の間の結合埋め込みモデルを学習し、そのような学習されたモデルを次の両方に活用することが含まれます。 (1) エージェントのトレーニング中に報酬形成を通知する
、(2) タスクのパフォーマンスを向上させるために、導入時にエンドユーザーに説明を提供します。
Connect 4 と Lunar Lander での実験的な検証では、S2E が二重のメリットを提供し、報酬形成の通知とエージェントの学習率の向上に成功し、導入時のエンドユーザーのタスクのパフォーマンスが大幅に向上するという成功を実証しました。

要約(オリジナル)

As more non-AI experts use complex AI systems for daily tasks, there has been an increasing effort to develop methods that produce explanations of AI decision making that are understandable by non-AI experts. Towards this effort, leveraging higher-level concepts and producing concept-based explanations have become a popular method. Most concept-based explanations have been developed for classification techniques, and we posit that the few existing methods for sequential decision making are limited in scope. In this work, we first contribute a desiderata for defining concepts in sequential decision making settings. Additionally, inspired by the Protege Effect which states explaining knowledge often reinforces one’s self-learning, we explore how concept-based explanations of an RL agent’s decision making can in turn improve the agent’s learning rate, as well as improve end-user understanding of the agent’s decision making. To this end, we contribute a unified framework, State2Explanation (S2E), that involves learning a joint embedding model between state-action pairs and concept-based explanations, and leveraging such learned model to both (1) inform reward shaping during an agent’s training, and (2) provide explanations to end-users at deployment for improved task performance. Our experimental validations, in Connect 4 and Lunar Lander, demonstrate the success of S2E in providing a dual-benefit, successfully informing reward shaping and improving agent learning rate, as well as significantly improving end user task performance at deployment time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google