Improving the Data Efficiency of Multi-Objective Quality-Diversity through Gradient Assistance and Crowding Exploration

要約

Quality-Diversity (QD) アルゴリズムは、局所的な最適条件を回避する有効性と、広範囲で高性能なソリューションを生成する機能により、最適化手法として最近注目を集めています。
最近、多目的MAP-エリート（MOME）は、マップエリートグリッドの各セルでパレートフロントを維持することにより、QDパラダイムを多目的設定に拡張しました。
MOME は、定評のある多目的進化アルゴリズム (MOEA) である NSGA-II と SPEA2 に匹敵するグローバルなパフォーマンスを達成すると同時に、多様なソリューションのレパートリーを獲得しました。
ただし、MOME は、高次元の検索空間で苦労する無向遺伝子検索メカニズムによって制限されます。
この作業では、ポリシー勾配支援とクラウディングベースの探索（MOME-PGX）を備えた多目的MAP-エリートを紹介します。これは、MOMEを拡張してデータの効率とパフォーマンスを向上させる新しいQDアルゴリズムです。
MOME-PGX は、勾配ベースの最適化を使用して、ソリューションをより高いパフォーマンスに効率的に推進します。
また、クラウディングベースのメカニズムを導入して、改善された探索戦略を作成し、パレート フロント全体の均一性を促進します。
4 つのシミュレートされたロボット移動タスクで MOME-PGX を評価し、他のすべてのベースラインよりも高速に収束し、高いパフォーマンスを発揮することを実証します。
MOME-PGX は、MOME よりも 4.3 倍から 42 倍データ効率が高く、困難な環境で MOME、NSGA-II、および SPEA2 のパフォーマンスを 2 倍にすることが示されています。

要約(オリジナル)

Quality-Diversity (QD) algorithms have recently gained traction as optimisation methods due to their effectiveness at escaping local optima and capability of generating wide-ranging and high-performing solutions. Recently, Multi-Objective MAP-Elites (MOME) extended the QD paradigm to the multi-objective setting by maintaining a Pareto front in each cell of a map-elites grid. MOME achieved a global performance that competed with NSGA-II and SPEA2, two well-established Multi-Objective Evolutionary Algorithms (MOEA), while also acquiring a diverse repertoire of solutions. However, MOME is limited by non-directed genetic search mechanisms which struggle in high-dimensional search spaces. In this work, we present Multi-Objective MAP-Elites with Policy-Gradient Assistance and Crowding-based Exploration (MOME-PGX): a new QD algorithm that extends MOME to improve its data efficiency and performance. MOME-PGX uses gradient-based optimisation to efficiently drive solutions towards higher performance. It also introduces crowding-based mechanisms to create an improved exploration strategy and to encourage uniformity across Pareto fronts. We evaluate MOME-PGX in four simulated robot locomotion tasks and demonstrate that it converges faster and to a higher performance than all other baselines. We show that MOME-PGX is between 4.3 and 42 times more data-efficient than MOME and doubles the performance of MOME, NSGA-II and SPEA2 in challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google