Common pitfalls to avoid while using multiobjective optimization in machine learning

要約

最近、機械学習 (ML) における多目的最適化 (MOO) の応用の探索に対する関心が高まっています。
関心は、複数の目的を同時に最適化する必要がある現実のアプリケーションにおける数多くの状況によって引き起こされます。
MOO の重要な側面は、単一の最適解ではなく、目的間の固有のトレードオフを示すパレート セットの存在です。
その可能性にもかかわらず、MOO を使用したいと考えている ML 実践者のための入門レベルのガイドとして機能する満足のいく文献が著しく不足しています。
したがって、この文書での私たちの目標は、そのようなリソースを作成することです。
私たちは、これまでの研究、特に深層学習における MOO に関する研究 (物理情報に基づいたニューラル ネットワーク (PINN) を指導例として使用) を批判的にレビューし、ML における MOO の原則をよりよく理解する必要性を浮き彫りにする誤解を特定します。
ケーススタディとして PINN の MOO を使用して、データ損失と物理損失項の間の相互作用を示します。
ML で MOO テクニックを使用する際に避けるべき最も一般的な落とし穴に焦点を当てます。
まず、多目的勾配降下法 (MGDA) などのより複雑な手法と並行して、加重和 (WS) 法などのよく知られたアプローチに焦点を当て、MOO の基礎を確立します。
さらに、WS および MGDA から得られた結果を、最も一般的な進化アルゴリズムの 1 つである NSGA-II と比較します。
私たちは、特定の問題、目的空間、および選択した MOO 手法を理解することの重要性を強調する一方、収束などの要素を無視すると不正確な結果が生じ、その結果、最適でない解決策が得られる可能性があることにも注意します。
私たちの目標は、ML 実践者に、特に DL のコンテキストで MOO を効果的に適用するための明確で実践的なガイドを提供することです。

要約(オリジナル)

Recently, there has been an increasing interest in exploring the application of multiobjective optimization (MOO) in machine learning (ML). The interest is driven by the numerous situations in real-life applications where multiple objectives need to be optimized simultaneously. A key aspect of MOO is the existence of a Pareto set, rather than a single optimal solution, which illustrates the inherent trade-offs between objectives. Despite its potential, there is a noticeable lack of satisfactory literature that could serve as an entry-level guide for ML practitioners who want to use MOO. Hence, our goal in this paper is to produce such a resource. We critically review previous studies, particularly those involving MOO in deep learning (using Physics-Informed Neural Networks (PINNs) as a guiding example), and identify misconceptions that highlight the need for a better grasp of MOO principles in ML. Using MOO of PINNs as a case study, we demonstrate the interplay between the data loss and the physics loss terms. We highlight the most common pitfalls one should avoid while using MOO techniques in ML. We begin by establishing the groundwork for MOO, focusing on well-known approaches such as the weighted sum (WS) method, alongside more complex techniques like the multiobjective gradient descent algorithm (MGDA). Additionally, we compare the results obtained from the WS and MGDA with one of the most common evolutionary algorithms, NSGA-II. We emphasize the importance of understanding the specific problem, the objective space, and the selected MOO method, while also noting that neglecting factors such as convergence can result in inaccurate outcomes and, consequently, a non-optimal solution. Our goal is to offer a clear and practical guide for ML practitioners to effectively apply MOO, particularly in the context of DL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google