Improving the Data Efficiency of Multi-Objective Quality-Diversity through Gradient Assistance and Crowding Exploration

要約

品質ダイバーシティ (QD) アルゴリズムは、局所最適を回避する効果と、広範囲で高性能のソリューションを生成できるため、最適化手法として最近注目を集めています。
最近、Multi-Objective MAP-Elites (MOME) は、マップエリート グリッドの各セルでパレート フロントを維持することにより、QD パラダイムを多目的設定に拡張しました。
MOME は、確立された多目的進化アルゴリズム (MOEA) である NSGA-II および SPEA2 と競合する世界的なパフォーマンスを達成すると同時に、多様なソリューションのレパートリーを獲得しました。
ただし、MOME は、高次元の検索空間では困難な非指向性遺伝子検索メカニズムによって制限されます。
この研究では、MOME を拡張してデータの効率とパフォーマンスを向上させる新しい QD アルゴリズムである、ポリシー勾配支援と混雑ベースの探索を備えた Multi-Objective MAP-Elites (MOME-PGX) を紹介します。
MOME-PGX は、勾配ベースの最適化を使用して、ソリューションのパフォーマンスを効率的に向上させます。
また、改善された探査戦略を作成し、パレート フロント全体の均一性を促進するために、混雑ベースのメカニズムも導入されています。
4 つのシミュレーションされたロボット移動タスクで MOME-PGX を評価し、他のすべてのベースラインよりも高速かつ高いパフォーマンスに収束することを実証します。
MOME-PGX は MOME よりも 4.3 ～ 42 倍のデータ効率があり、困難な環境において MOME、NSGA-II、および SPEA2 のパフォーマンスを 2 倍にすることを示します。

要約(オリジナル)

Quality-Diversity (QD) algorithms have recently gained traction as optimisation methods due to their effectiveness at escaping local optima and capability of generating wide-ranging and high-performing solutions. Recently, Multi-Objective MAP-Elites (MOME) extended the QD paradigm to the multi-objective setting by maintaining a Pareto front in each cell of a map-elites grid. MOME achieved a global performance that competed with NSGA-II and SPEA2, two well-established Multi-Objective Evolutionary Algorithms (MOEA), while also acquiring a diverse repertoire of solutions. However, MOME is limited by non-directed genetic search mechanisms which struggle in high-dimensional search spaces. In this work, we present Multi-Objective MAP-Elites with Policy-Gradient Assistance and Crowding-based Exploration (MOME-PGX): a new QD algorithm that extends MOME to improve its data efficiency and performance. MOME-PGX uses gradient-based optimisation to efficiently drive solutions towards higher performance. It also introduces crowding-based mechanisms to create an improved exploration strategy and to encourage uniformity across Pareto fronts. We evaluate MOME-PGX in four simulated robot locomotion tasks and demonstrate that it converges faster and to a higher performance than all other baselines. We show that MOME-PGX is between 4.3 and 42 times more data-efficient than MOME and doubles the performance of MOME, NSGA-II and SPEA2 in challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google