Deep Reinforcement Learning for Robotics: A Survey of Real-World Successes

要約

強化学習 (RL)、特にディープ RL (DRL) と呼ばれるディープ ニューラル ネットワークとの組み合わせは、幅広い用途で大きな期待を示しており、洗練されたロボット動作の開発を可能にする可能性を示唆しています。
しかし、ロボット工学の問題は、物理世界との対話の複雑さとコストに起因して、RL の適用に根本的な困難を引き起こします。
この記事では、いくつかの主要なロボット コンピテンシーの実現において DRL によって達成された実際の成功を評価することに特に重点を置き、ロボット工学のための DRL の最新の調査を提供します。
私たちの分析は、これらのエキサイティングな成功の根底にある重要な要因を特定し、未開拓の領域を明らかにし、ロボット工学における DRL の状況の全体的な特徴を提供することを目的としています。
我々は、将来の研究に向けたいくつかの重要な道筋を強調し、安定的でサンプル効率の高い現実世界の RL パラダイム、複雑で長期にわたるオープンワールドのタスクに取り組むためのさまざまな能力を発見して統合するための総合的なアプローチ、および原則に基づいた開発と評価手順の必要性を強調します。
。
この調査は、RL の能力を活用して一般的に機能する現実世界のロボット システムを作成するための、RL 実践者とロボット研究者の両方に洞察を提供することを目的としています。

要約(オリジナル)

Reinforcement learning (RL), particularly its combination with deep neural networks referred to as deep RL (DRL), has shown tremendous promise across a wide range of applications, suggesting its potential for enabling the development of sophisticated robotic behaviors. Robotics problems, however, pose fundamental difficulties for the application of RL, stemming from the complexity and cost of interacting with the physical world. This article provides a modern survey of DRL for robotics, with a particular focus on evaluating the real-world successes achieved with DRL in realizing several key robotic competencies. Our analysis aims to identify the key factors underlying those exciting successes, reveal underexplored areas, and provide an overall characterization of the status of DRL in robotics. We highlight several important avenues for future work, emphasizing the need for stable and sample-efficient real-world RL paradigms, holistic approaches for discovering and integrating various competencies to tackle complex long-horizon, open-world tasks, and principled development and evaluation procedures. This survey is designed to offer insights for both RL practitioners and roboticists toward harnessing RL’s power to create generally capable real-world robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google