LibMOON: A Gradient-based MultiObjective OptimizatioN Library in PyTorch

要約

多目的最適化問題 (MOP) は、機械学習で一般的であり、マルチタスク学習、公平性またはロバストネス制約の下での学習などに応用されています。MOP は、複数の目的関数をスカラー目標に縮小するのではなく、いわゆるパレートに対して最適化することを目的としています。
最適性またはパレート集合学習。これには、数千または数百万のパラメーターを持つモデルに対して複数の目的関数を同時に最適化することが含まれます。
MOP 用の既存のベンチマーク ライブラリは主に進化的アルゴリズムに焦点を当てていますが、そのほとんどはゼロ次/メタヒューリスティック手法であり、目的からの高次情報を効果的に利用しておらず、数千/数百万のパラメータを持つ大規模モデルに拡張することができません。
上記のギャップを考慮して、この文書では、最先端の勾配ベースの手法をサポートし、公正なベンチマークを提供し、コミュニティ向けにオープンソース化された初の多目的最適化ライブラリである LibMOON を紹介します。

要約(オリジナル)

Multiobjective optimization problems (MOPs) are prevalent in machine learning, with applications in multi-task learning, learning under fairness or robustness constraints, etc. Instead of reducing multiple objective functions into a scalar objective, MOPs aim to optimize for the so-called Pareto optimality or Pareto set learning, which involves optimizing more than one objective function simultaneously, over models with thousands / millions of parameters. Existing benchmark libraries for MOPs mainly focus on evolutionary algorithms, most of which are zeroth-order / meta-heuristic methods that do not effectively utilize higher-order information from objectives and cannot scale to large-scale models with thousands / millions of parameters. In light of the above gap, this paper introduces LibMOON, the first multiobjective optimization library that supports state-of-the-art gradient-based methods, provides a fair benchmark, and is open-sourced for the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google