Towards self-attention based visual navigation in the real world

要約

ビジョン ガイド ナビゲーションでは、複雑な視覚情報を処理して、タスク指向の決定を通知する必要があります。
アプリケーションには、自律型ロボット、自動運転車、および人間の補助視覚が含まれます。
重要な要素は、アクションの選択の基礎となるピクセル空間での関連する特徴の抽出と選択であり、機械学習技術が適しています。
しかし、シミュレーションで訓練された深層強化学習エージェントは、$\textit{現実のギャップ}$ として知られる知覚の違いにより、現実世界に展開されたときに満足のいく結果を示さないことがよくあります。
このギャップを埋めるためにまだ検討されていないアプローチは、自己注意です。
この論文では、（1）3D環境の自己注意ベースのナビゲーションのためにハイパーパラメータ空間の体系的な調査を実行し、一般化する能力を含め、さまざまなハイパーパラメータセットから観察された動作を定性的に評価します。
(2) エージェントの一般化能力とナビゲーション動作を改善するための戦略を提示します。
(3) シミュレーションでトレーニングされたモデルが、実世界の画像をリアルタイムで有意義に処理できることを示します。
私たちの知る限り、これは 4000 未満のパラメーターを使用して、3D アクション空間をナビゲートするトレーニングに成功した自己注意ベースのエージェントの最初のデモンストレーションです。

要約(オリジナル)

Vision guided navigation requires processing complex visual information to inform task-orientated decisions. Applications include autonomous robots, self-driving cars, and assistive vision for humans. A key element is the extraction and selection of relevant features in pixel space upon which to base action choices, for which Machine Learning techniques are well suited. However, Deep Reinforcement Learning agents trained in simulation often exhibit unsatisfactory results when deployed in the real-world due to perceptual differences known as the $\textit{reality gap}$. An approach that is yet to be explored to bridge this gap is self-attention. In this paper we (1) perform a systematic exploration of the hyperparameter space for self-attention based navigation of 3D environments and qualitatively appraise behaviour observed from different hyperparameter sets, including their ability to generalise; (2) present strategies to improve the agents’ generalisation abilities and navigation behaviour; and (3) show how models trained in simulation are capable of processing real world images meaningfully in real time. To our knowledge, this is the first demonstration of a self-attention based agent successfully trained in navigating a 3D action space, using less than 4000 parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google