Interpretable Brain-Inspired Representations Improve RL Performance on Visual Navigation Tasks

要約

ビジュアル ナビゲーションには、あらゆる範囲の機能が必要です。
これらのうち重要なものの 1 つは、環境内でのエージェント自身の位置と方向を決定するエージェントの能力です。
従来の研究では、一般に、この情報が与えられたものであると仮定するか、適切な誘導バイアスが欠如し、時間の経過とともに誤差が蓄積する方法が使用されます。
この研究では、神経科学研究にヒントを得たスロー特徴分析 (SFA) の手法が、エージェントの位置と方向をエンコードする視覚データの解釈可能な表現を生成することで、両方の制限をどのように克服するかを示します。
最新の強化学習コンテキストで SFA を採用し、表現を分析および比較し、ナビゲーション タスクにおいて階層型 SFA が他の特徴抽出器よりも優れたパフォーマンスを発揮できる部分を示します。

要約(オリジナル)

Visual navigation requires a whole range of capabilities. A crucial one of these is the ability of an agent to determine its own location and heading in an environment. Prior works commonly assume this information as given, or use methods which lack a suitable inductive bias and accumulate error over time. In this work, we show how the method of slow feature analysis (SFA), inspired by neuroscience research, overcomes both limitations by generating interpretable representations of visual data that encode location and heading of an agent. We employ SFA in a modern reinforcement learning context, analyse and compare representations and illustrate where hierarchical SFA can outperform other feature extractors on navigation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google