Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models

要約

強化学習(RL)における意味解釈可能性は、エージェントの決定を理解可能かつ検証可能にすることで、透明性と検証可能性を実現する。しかし、これを達成するためには、人間が理解可能な概念で構成された特徴空間が必要であり、従来は人間の仕様に依存していたため、未知の環境への一般化に失敗する可能性がある。iTRACEは、まず意味的に意味のある特徴を抽出し、次にそれを解釈可能な木を介して政策にマッピングする。VLMをRLループで実行することの非現実性に対処するため、その出力を軽量モデルに抽出する。iTRACEは、同じ解釈可能な特徴を使用するMLPのベースラインを上回り、CNNベースのポリシーの性能に匹敵する。

要約(オリジナル)

Semantic interpretability in Reinforcement Learning (RL) enables transparency and verifiability by making the agent’s decisions understandable and verifiable. Achieving this, however, requires a feature space composed of human-understandable concepts, which traditionally rely on human specification and may fail to generalize to unseen environments. We introduce interpretable Tree-based Reinforcement learning via Automated Concept Extraction (iTRACE), an automated framework that leverages pre-trained vision-language models (VLM) for semantic feature extraction and interpretable tree-based models for policy optimization. iTRACE first extracts semantically meaningful features, then maps them to policies via interpretable trees. To address the impracticality of running VLMs in RL loops, we distill their outputs into a lightweight model. By leveraging Vision-Language Models (VLMs) to automate tree-based reinforcement learning, iTRACE eliminates the need for human annotation traditionally required by interpretable models, while also addressing the limitations of VLMs alone, such as their lack of grounding in action spaces and inability to directly optimize policies. iTRACE outperforms MLP baselines that use the same interpretable features and matches the performance of CNN-based policies, producing verifiable, semantically interpretable, and human-aligned behaviors without requiring human annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL