Deep Generative Models for Offline Policy Learning: Tutorial, Survey, and Perspectives on Future Directions

要約

ディープ生成モデル (DGM) は、特にオフライン データからトレーニングされたモデルを使用したテキスト、画像、ビデオの生成において、さまざまな分野で大きな成功を収めています。
同様に、データ駆動型の意思決定とロボット制御でも、戦略またはポリシーとして機能するジェネレーター関数をオフライン データから学習する必要があります。
この場合、オフラインのポリシー学習に深い生成モデルを適用することは大きな可能性を示しており、この方向で多くの研究が検討されています。
ただし、この分野にはまだ包括的なレビューが不足しているため、さまざまな分野の開発は比較的独立しています。
したがって、オフラインのポリシー学習のための深い生成モデルのアプリケーションに関する最初の体系的なレビューを提供します。
特に、変分自動エンコーダー、敵対的生成ネットワーク、正規化フロー、トランスフォーマー、拡散モデルを含む 5 つの主流の深層生成モデルと、オフライン強化学習 (オフライン RL) と模倣学習 (IL) の両方におけるそれらのアプリケーションについて取り上げます。
オフライン RL と IL は、オフライン ポリシー学習の 2 つの主要な分野であり、逐次的な意思決定に広く採用されている手法です。
具体的には、DGMによるオフライン政策学習の種類ごとに、その基本スキームを抽出し、DGMの用途に基づいて関連する作品を分類し、その分野におけるアルゴリズムの開発プロセスを整理します。
メインコンテンツに続いて、要約として深層生成モデルとオフライン政策学習に関する詳細な議論を提供し、それに基づいて将来の研究の方向性についての展望を示します。
この研究は、オフライン ポリシー学習のための深い生成モデルにおける研究の進歩に関する実践的な参考資料を提供し、改良された DGM ベースのオフライン RL または IL アルゴリズムを刺激することを目的としています。

要約(オリジナル)

Deep generative models (DGMs) have demonstrated great success across various domains, particularly in generating texts, images, and videos using models trained from offline data. Similarly, data-driven decision-making and robotic control also necessitate learning a generator function from the offline data to serve as the strategy or policy. In this case, applying deep generative models in offline policy learning exhibits great potential, and numerous studies have explored in this direction. However, this field still lacks a comprehensive review and so developments of different branches are relatively independent. Thus, we provide the first systematic review on the applications of deep generative models for offline policy learning. In particular, we cover five mainstream deep generative models, including Variational Auto-Encoders, Generative Adversarial Networks, Normalizing Flows, Transformers, and Diffusion Models, and their applications in both offline reinforcement learning (offline RL) and imitation learning (IL). Offline RL and IL are two main branches of offline policy learning and are widely-adopted techniques for sequential decision-making. Specifically, for each type of DGM-based offline policy learning, we distill its fundamental scheme, categorize related works based on the usage of the DGM, and sort out the development process of algorithms in that field. Subsequent to the main content, we provide in-depth discussions on deep generative models and offline policy learning as a summary, based on which we present our perspectives on future research directions. This work offers a hands-on reference for the research progress in deep generative models for offline policy learning, and aims to inspire improved DGM-based offline RL or IL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google