Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond

要約

深層学習における多目的最適化(MOO)は、複数の相反する目的を同時に最適化することを目的としており、マルチタスク学習や多基準学習などの分野で頻繁に遭遇する課題である。近年の勾配ベースのMOO手法の進歩により、単一のバランスの取れた解から有限あるいは無限のパレート集合まで、ユーザーのニーズに合わせた多様なタイプの解の発見が可能になった。これらの開発は、強化学習、コンピュータビジョン、推薦システム、大規模言語モデルなどの領域で幅広く応用されている。本サーベイでは、深層学習における勾配ベースのMOOについて、アルゴリズム、理論、実用的なアプリケーションを網羅した初の包括的なレビューを提供する。様々なアプローチを統一し、重要な課題を特定することで、この進化する分野におけるイノベーションを推進するための基礎的なリソースとして役立つ。深層学習におけるMOOアルゴリズムの包括的なリストは、https://github.com/Baijiong-Lin/Awesome-Multi-Objective-Deep-Learning。

要約(オリジナル)

Multi-objective optimization (MOO) in deep learning aims to simultaneously optimize multiple conflicting objectives, a challenge frequently encountered in areas like multi-task learning and multi-criteria learning. Recent advancements in gradient-based MOO methods have enabled the discovery of diverse types of solutions, ranging from a single balanced solution to finite or even infinite Pareto sets, tailored to user needs. These developments have broad applications across domains such as reinforcement learning, computer vision, recommendation systems, and large language models. This survey provides the first comprehensive review of gradient-based MOO in deep learning, covering algorithms, theories, and practical applications. By unifying various approaches and identifying critical challenges, it serves as a foundational resource for driving innovation in this evolving field. A comprehensive list of MOO algorithms in deep learning is available at https://github.com/Baijiong-Lin/Awesome-Multi-Objective-Deep-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL