Jacobian Descent for Multi-Objective Optimization

要約

最適化問題の多くは、相反する複数の目的のバランスをとる必要がある。勾配降下は単一目的最適化に限定されるため、その直接一般化を紹介する：ヤコビアン・ディセント(JD)である。このアルゴリズムは、ベクトル値の目的関数のヤコビ行列を用いてパラメータを反復的に更新する。勾配を結合する方法はすでに文献にいくつか存在するが、一般に目的が衝突した場合に妨げとなる。これに対して我々は、ノルムに比例した影響力を保ちつつ、競合を完全に解決するために勾配の射影を提案する。このアプローチにより、収束保証が大幅に強化されることが実証結果により証明された。本手法はまた、インスタンス単位のリスク最小化(IWRM: instance-wise risk minimization)を可能にする。単純な画像分類タスクに適用した結果、IWRMは平均損失の直接最小化と比較して有望な結果を示した。さらに、ヤコビアン行列のグラミアンを用いたJDの効率的な実装について概説し、時間とメモリの必要量を削減する。

要約(オリジナル)

Many optimization problems require balancing multiple conflicting objectives. As gradient descent is limited to single-objective optimization, we introduce its direct generalization: Jacobian descent (JD). This algorithm iteratively updates parameters using the Jacobian matrix of a vector-valued objective function, in which each row is the gradient of an individual objective. While several methods to combine gradients already exist in the literature, they are generally hindered when the objectives conflict. In contrast, we propose projecting gradients to fully resolve conflict while ensuring that they preserve an influence proportional to their norm. We prove significantly stronger convergence guarantees with this approach, supported by our empirical results. Our method also enables instance-wise risk minimization (IWRM), a novel learning paradigm in which the loss of each training example is considered a separate objective. Applied to simple image classification tasks, IWRM exhibits promising results compared to the direct minimization of the average loss. Additionally, we outline an efficient implementation of JD using the Gramian of the Jacobian matrix to reduce time and memory requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL