Learning to optimize by multi-gradient for multi-objective optimization

要約

科学用の人工知能 (AI) の発展により、学習ベースの研究パラダイムが出現し、多目的最適化 (MOO) 手法の設計の切実な再評価が必要になっています。
新世代の MOO メソッドは、手動設計ではなく自動学習に根ざしている必要があります。
この論文では、MOO 問題を最適化するための新しい自動学習パラダイムを導入し、方向を更新するために複数の勾配からジェネレーター (またはマッピング) を自動的に学習する最適化するためのマルチ勾配学習 (ML2O) 手法を提案します。
学習ベースの手法として、ML2O は現在のステップからの情報を活用してローカルな景観の知識を取得し、過去の反復軌跡データから抽出されたグローバルな経験を組み込みます。
新しい保護機構を導入することにより、保護された多勾配最適化学習 (GML2O) 法を提案し、GML2O によって生成された反復シーケンスがパレート臨界点に収束することを証明します。
実験結果は、当社の学習済みオプティマイザーが、マルチタスク学習 (MTL) ニューラル ネットワークのトレーニングにおいて、手作業で設計された競合他社よりも優れていることを示しています。

要約(オリジナル)

The development of artificial intelligence (AI) for science has led to the emergence of learning-based research paradigms, necessitating a compelling reevaluation of the design of multi-objective optimization (MOO) methods. The new generation MOO methods should be rooted in automated learning rather than manual design. In this paper, we introduce a new automatic learning paradigm for optimizing MOO problems, and propose a multi-gradient learning to optimize (ML2O) method, which automatically learns a generator (or mappings) from multiple gradients to update directions. As a learning-based method, ML2O acquires knowledge of local landscapes by leveraging information from the current step and incorporates global experience extracted from historical iteration trajectory data. By introducing a new guarding mechanism, we propose a guarded multi-gradient learning to optimize (GML2O) method, and prove that the iterative sequence generated by GML2O converges to a Pareto critical point. The experimental results demonstrate that our learned optimizer outperforms hand-designed competitors on training multi-task learning (MTL) neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google