Dynamic Contrastive Skill Learning with State-Transition Based Skill Clustering and Dynamic Length Adjustment

要約

強化学習（RL）は、さまざまなドメインで大きな進歩を遂げていますが、複雑な意思決定を伴う長老のタスクに拡大することは依然として困難です。
スキル学習は、アクションを高レベルの動作に抽象化することにより、これに対処しようとします。
ただし、現在のアプローチは、意味的に類似した動作を同じスキルとして認識できず、固定スキルの長さを使用して、柔軟性と一般化を制限します。
これに対処するために、スキルの表現と学習を再定義する新しいフレームワークである動的コントラストスキル学習（DCSL）を提案します。
DCSLは、3つの重要なアイデアを紹介します。州に基づくスキル表現、スキル類似機能学習、動的なスキル長の調整です。
州の移行に焦点を当て、対照学習を活用することにより、DCSLは行動の意味的コンテキストを効果的にキャプチャし、適切な時間的範囲の行動の範囲に合わせてスキルの長さを適応させます。
私たちのアプローチにより、特に複雑なまたは騒々しいデータセットで、より柔軟で適応性のあるスキル抽出が可能になり、タスクの完了と効率の既存の方法と比較して競争力のあるパフォーマンスを実証します。

要約(オリジナル)

Reinforcement learning (RL) has made significant progress in various domains, but scaling it to long-horizon tasks with complex decision-making remains challenging. Skill learning attempts to address this by abstracting actions into higher-level behaviors. However, current approaches often fail to recognize semantically similar behaviors as the same skill and use fixed skill lengths, limiting flexibility and generalization. To address this, we propose Dynamic Contrastive Skill Learning (DCSL), a novel framework that redefines skill representation and learning. DCSL introduces three key ideas: state-transition based skill representation, skill similarity function learning, and dynamic skill length adjustment. By focusing on state transitions and leveraging contrastive learning, DCSL effectively captures the semantic context of behaviors and adapts skill lengths to match the appropriate temporal extent of behaviors. Our approach enables more flexible and adaptive skill extraction, particularly in complex or noisy datasets, and demonstrates competitive performance compared to existing methods in task completion and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google