Heterogeneous Knowledge for Augmented Modular Reinforcement Learning

要約

既存のモジュール型強化学習 (RL) アーキテクチャは通常、再利用可能なコンポーネントに基づいており、「プラグ アンド プレイ」統合も可能です。
ただし、これらのモジュールは本質的に同質であり、実際には、基本的に個々の報酬関数の最大化を通じて RL を介して取得されるポリシーを提供します。
したがって、このようなソリューションには、ルール、サブ目標、さまざまなソースからのスキルなど、複数の種類の情報 (つまり、異種の知識表現) を統合して処理する能力がまだ欠けています。
この論文では、異種知識のいくつかの実践例について説明し、これらの制限に対処する拡張モジュール強化学習 (AMRL) を提案します。
私たちのフレームワークはセレクターを使用して異種モジュールを結合し、さまざまなタイプの知識表現と処理メカニズムをシームレスに組み込みます。
私たちの結果は、一般化の観点からも、従来のモジュラー RL を異種の知識ソースと処理メカニズムで強化することで達成できるパフォーマンスと効率の向上を示しています。
最後に、知識の異質性の導入から生じる安全性、堅牢性、および解釈可能性の問題を検討します。

要約(オリジナル)

Existing modular Reinforcement Learning (RL) architectures are generally based on reusable components, also allowing for ‘plug-and-play’ integration. However, these modules are homogeneous in nature – in fact, they essentially provide policies obtained via RL through the maximization of individual reward functions. Consequently, such solutions still lack the ability to integrate and process multiple types of information (i.e., heterogeneous knowledge representations), such as rules, sub-goals, and skills from various sources. In this paper, we discuss several practical examples of heterogeneous knowledge and propose Augmented Modular Reinforcement Learning (AMRL) to address these limitations. Our framework uses a selector to combine heterogeneous modules and seamlessly incorporate different types of knowledge representations and processing mechanisms. Our results demonstrate the performance and efficiency improvements, also in terms of generalization, that can be achieved by augmenting traditional modular RL with heterogeneous knowledge sources and processing mechanisms. Finally, we examine the safety, robustness, and interpretability issues stemming from the introduction of knowledge heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google