Vector Quantized-Elites: Unsupervised and Problem-Agnostic Quality-Diversity Optimization

要約

Quality-Diversityアルゴリズムは、単一の最適な結果にわたって多様で高性能のソリューションの発見を優先することにより、最適化を変革しました。
ただし、MAP-ELITEなどの従来の品質双方向の方法は、事前定義された行動記述子とタスクの完全な事前知識に大きく依存して、行動空間グリッドを定義し、柔軟性と適用性を制限します。
この作業では、ベクトルQuantized-Elites（VQ-Elites）を導入します。これは、監視されていない学習を使用して構造化された行動空間グリッドを自律的に構築し、以前のタスク固有の知識の必要性を排除する新しい品質 – 多様性アルゴリズムです。
VQ-ELITEの中核は、ベクター量子化された変動自動エンコーダーの統合であり、行動記述子の動的学習と、構造化されていない行動空間グリッドの生成を可能にします。
この設計は、VQ-Elitesを柔軟で堅牢でタスクに依存しない最適化フレームワークとして確立します。
監視されていない品質 – ダイバーシティアルゴリズムのパフォーマンスをさらに向上させるために、2つの重要なコンポーネントを紹介します。行動空間の境界と協力メカニズムで、収束とパフォーマンスを大幅に改善します。
ロボットアームのポーズリーチングおよびモバイルロボットスペースカバータスクのVQ-Elitesを検証します。
この結果は、多様で高品質のソリューションを効率的に生成する能力を示しており、その適応性、スケーラビリティ、ハイパーパラメーターへの堅牢性、および品質ダイバーシティの最適化を複雑で以前はアクセスできないドメインに拡張する可能性を示しています。

要約(オリジナル)

Quality-Diversity algorithms have transformed optimization by prioritizing the discovery of diverse, high-performing solutions over a single optimal result. However, traditional Quality-Diversity methods, such as MAP-Elites, rely heavily on predefined behavioral descriptors and complete prior knowledge of the task to define the behavioral space grid, limiting their flexibility and applicability. In this work, we introduce Vector Quantized-Elites (VQ-Elites), a novel Quality-Diversity algorithm that autonomously constructs a structured behavioral space grid using unsupervised learning, eliminating the need for prior task-specific knowledge. At the core of VQ-Elites is the integration of Vector Quantized Variational Autoencoders, which enables the dynamic learning of behavioral descriptors and the generation of a structured, rather than unstructured, behavioral space grid – a significant advancement over existing unsupervised Quality-Diversity approaches. This design establishes VQ-Elites as a flexible, robust, and task-agnostic optimization framework. To further enhance the performance of unsupervised Quality-Diversity algorithms, we introduce two key components: behavioral space bounding and cooperation mechanisms, which significantly improve convergence and performance. We validate VQ-Elites on robotic arm pose-reaching and mobile robot space-covering tasks. The results demonstrate its ability to efficiently generate diverse, high-quality solutions, emphasizing its adaptability, scalability, robustness to hyperparameters, and potential to extend Quality-Diversity optimization to complex, previously inaccessible domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google