Don’t Bet on Luck Alone: Enhancing Behavioral Reproducibility of Quality-Diversity Solutions in Uncertain Domains

要約

【タイトル】運のみに頼ることはしないで：不確かな領域において品質多様性ソリューションの行動再現性を高める

【要約】

– Quality-Diversity (QD)アルゴリズムは、所与の記述子空間において高性能なソリューションのコレクションを生成しつつ、その多様性を最大化するように設計されています。
– しかし、予測できないノイズが存在すると、同じソリューションの適合度と記述子は、評価ごとに大きく異なる場合があり、そうした値の推定に不確実性が生じる可能性があります。
– QDアルゴリズムのエリート主義的な性質から、そうしたノイズの多い設定では、多くの退化したソリューションが生成されることが一般的です。
– 本研究では、アーカイブ再現性改善アルゴリズム(ARIA)を提案し、アーカイブに存在するソリューションの再現性を向上させるプラグ&プレイアプローチとして位置付けます。
– 我々は、自然進化戦略に基づく別個の最適化モジュールとして、ARIAを実行できるように提案します。
– 本モジュールは、ソリューションを変異させて、それらが自身のニッチに所属する確率を最適化し、かつ適合度を最大化することで、アーカイブの品質と記述子空間カバレッジを少なくとも50％向上させることができます。
– 我々は、古典的最適化問題と、シミュレートされたロボット環境における2つの高次元制御タスクを含むさまざまなタスクで、我々の手法のパフォーマンスを評価しています。

要約(オリジナル)

Quality-Diversity (QD) algorithms are designed to generate collections of high-performing solutions while maximizing their diversity in a given descriptor space. However, in the presence of unpredictable noise, the fitness and descriptor of the same solution can differ significantly from one evaluation to another, leading to uncertainty in the estimation of such values. Given the elitist nature of QD algorithms, they commonly end up with many degenerate solutions in such noisy settings. In this work, we introduce Archive Reproducibility Improvement Algorithm (ARIA); a plug-and-play approach that improves the reproducibility of the solutions present in an archive. We propose it as a separate optimization module, relying on natural evolution strategies, that can be executed on top of any QD algorithm. Our module mutates solutions to (1) optimize their probability of belonging to their niche, and (2) maximize their fitness. The performance of our method is evaluated on various tasks, including a classical optimization problem and two high-dimensional control tasks in simulated robotic environments. We show that our algorithm enhances the quality and descriptor space coverage of any given archive by at least 50%.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI