Human-Aligned Skill Discovery: Balancing Behaviour Exploration and Alignment

要約

強化学習における監視されていないスキルの発見は、多様な行動を自律的に発見する人間の能力を模倣することを目的としています。
ただし、既存の方法はしばしば制約がないため、特に発見されたスキルがしばしば安全でない、または非現実的である複雑な環境で、有用なスキルを見つけることが困難です。
この問題に対処し、人間に合わせたスキルディスカバリー（HASD）を提案します。これは、より安全でより整合したスキルを発見するために人間のフィードバックを組み込んだフレームワークです。
HASDは、スキルの多様性と人間の価値と同時に最適化します。
このアプローチにより、スキル発見プロセス全体でアラインメントが維持され、整理されていないスキルの探索に関連する非効率性が排除されます。
2Dナビゲーションと安全性の両方の環境の両方でその有効性を実証し、HASDが下流のタスクに安全で有用な多様で人間に合ったスキルを発見したことを示しています。
最後に、実際のシナリオで役立つ可能性のある多様性の整合性トレードオフで、さまざまな程度の多様性の整合性スキルを学習することにより、HASDを拡張します。

要約(オリジナル)

Unsupervised skill discovery in Reinforcement Learning aims to mimic humans’ ability to autonomously discover diverse behaviors. However, existing methods are often unconstrained, making it difficult to find useful skills, especially in complex environments, where discovered skills are frequently unsafe or impractical. We address this issue by proposing Human-aligned Skill Discovery (HaSD), a framework that incorporates human feedback to discover safer, more aligned skills. HaSD simultaneously optimises skill diversity and alignment with human values. This approach ensures that alignment is maintained throughout the skill discovery process, eliminating the inefficiencies associated with exploring unaligned skills. We demonstrate its effectiveness in both 2D navigation and SafetyGymnasium environments, showing that HaSD discovers diverse, human-aligned skills that are safe and useful for downstream tasks. Finally, we extend HaSD by learning a range of configurable skills with varying degrees of diversity alignment trade-offs that could be useful in practical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google