‘Explaining RL Decisions with Trajectories’: A Reproducibility Study

要約

この研究では、論文「軌道によるRLの決定の説明」の再現性を調査します。
元の論文では、トレーニング中に遭遇した特定の軌跡のクラスターに対するエージェントの帰属決定に基づいた、説明可能な強化学習における新しいアプローチが導入されています。
論文の主な主張を検証します。その主張は、(i) 少ない軌道でのトレーニングはより低い初期状態値を誘発する、(ii) クラスター内の軌道は同様の高レベルのパターンを示す、(iii) 離れた軌道は、
(iv) 人間は、エージェントの決定に起因する軌跡を正確に識別します。
私たちは、環境の 1 つ (Grid-World) に対して作成者が提供した部分的なオリジナル コードに基づいて作成者が使用した環境を復元し、残りの環境 (Seaquest、HalfCheetah、Breakout、および Q*Bert) を最初から実装しました。
(i)、(ii)、(iii) が部分的に成り立つことを確認しますが、(iii) をさらに裏付ける定量的指標を導入することで、著者らによる主に定性的な実験を拡張し、(i) についての新しい実験と視覚的結果を追加します。
）。
さらに、(ii) をさらにサポートするために、さまざまなクラスタリング アルゴリズムとエンコーダ アーキテクチャの使用を調査します。
元の実験の範囲が限られていたため、(iv) を支持することはできませんでした。
私たちは、主張の一部は支持できるものの、さらなる調査と実験が興味深い可能性があると結論付けています。
私たちは著者の研究の新規性を認識しており、私たちの研究がより明確で透明なアプローチへの道を開くことを願っています。

要約(オリジナル)

This work investigates the reproducibility of the paper ‘Explaining RL decisions with trajectories’. The original paper introduces a novel approach in explainable reinforcement learning based on the attribution decisions of an agent to specific clusters of trajectories encountered during training. We verify the main claims from the paper, which state that (i) training on less trajectories induces a lower initial state value, (ii) trajectories in a cluster present similar high-level patterns, (iii) distant trajectories influence the decision of an agent, and (iv) humans correctly identify the attributed trajectories to the decision of the agent. We recover the environments used by the authors based on the partial original code they provided for one of the environments (Grid-World), and implemented the remaining from scratch (Seaquest, HalfCheetah, Breakout and Q*Bert). While we confirm that (i), (ii), and (iii) partially hold, we extend on the largely qualitative experiments from the authors by introducing a quantitative metric to further support (iii), and new experiments and visual results for (i). Moreover, we investigate the use of different clustering algorithms and encoder architectures to further support (ii). We could not support (iv), given the limited extent of the original experiments. We conclude that, while some of the claims can be supported, further investigations and experiments could be of interest. We recognise the novelty of the work from the authors and hope that our work paves the way for clearer and more transparent approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google