Language-guided Skill Learning with Temporal Variational Inference

要約

専門家のデモンストレーションからスキル発見のためのアルゴリズムを紹介します。
このアルゴリズムは、まず大規模言語モデル (LLM) を利用して、軌跡の初期セグメント化を提案します。
その後、階層変分推論フレームワークに LLM で生成されたセグメンテーション情報が組み込まれ、軌道セグメントを結合することで再利用可能なスキルが発見されます。
圧縮と再利用性の間のトレードオフをさらに制御するために、このスキル発見プロセスのガイドに役立つ最小記述長の原則に基づいた新しい補助目標を導入します。
私たちの結果は、私たちの手法を備えたエージェントが、学習を加速するのに役立つスキルを発見し、グリッドワールドナビゲーション環境である BabyAI および家庭用シミュレーション環境である ALFRED における新しい長期的なタスクにおいてベースラインスキル学習アプローチを上回るパフォーマンスを発揮できることを示しています。

要約(オリジナル)

We present an algorithm for skill discovery from expert demonstrations. The algorithm first utilizes Large Language Models (LLMs) to propose an initial segmentation of the trajectories. Following that, a hierarchical variational inference framework incorporates the LLM-generated segmentation information to discover reusable skills by merging trajectory segments. To further control the trade-off between compression and reusability, we introduce a novel auxiliary objective based on the Minimum Description Length principle that helps guide this skill discovery process. Our results demonstrate that agents equipped with our method are able to discover skills that help accelerate learning and outperform baseline skill learning approaches on new long-horizon tasks in BabyAI, a grid world navigation environment, as well as ALFRED, a household simulation environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google