Towards Interactive Reinforcement Learning with Intrinsic Feedback

要約

強化学習 (RL) とブレイン コンピューター インターフェイス (BCI) は、過去 10 年間で大幅な成長を遂げました。
Human-in-the-Loop (HITL) への関心が高まるにつれ、RL アルゴリズムに人間の入力を組み込むことで、インタラクティブ RL というサブフィールドが誕生しました。
同様に、BCI の分野では、人間とコンピューターの相互作用に使用するために、神経活動から有益な脳信号を抽出することに長い間興味を持ってきました。
これらの分野間の重要なつながりは、対話型 RL アプローチを採用できるように、神経活動をフィードバックとして解釈することにあります。
私たちは、この新しく出現したフィードバック媒体を本質的フィードバックと呼びます。
本質的なフィードバックは自動的に、さらには無意識に伝達される能力があるにもかかわらず、この重要なつながりをめぐる適切な調査は、どちらのコミュニティでもほとんど取り組まれてきませんでした。
したがって、より深い理解とより効果的な利用を促進するために、本質的なフィードバックとその基本概念の動機、アプローチ、未解決の問題をカバーするチュートリアル形式のレビューを提供します。

要約(オリジナル)

Reinforcement learning (RL) and brain-computer interfaces (BCI) have experienced significant growth over the past decade. With rising interest in human-in-the-loop (HITL), incorporating human input with RL algorithms has given rise to the sub-field of interactive RL. Adjacently, the field of BCI has long been interested in extracting informative brain signals from neural activity for use in human-computer interactions. A key link between these fields lies in the interpretation of neural activity as feedback such that interactive RL approaches can be employed. We denote this new and emerging medium of feedback as intrinsic feedback. Despite intrinsic feedback’s ability to be conveyed automatically and even unconsciously, proper exploration surrounding this key link has largely gone unaddressed by both communities. Thus, to help facilitate a deeper understanding and a more effective utilization, we provide a tutorial-style review covering the motivations, approaches, and open problems of intrinsic feedback and its foundational concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google