Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach

要約

複数の目的関数を伴う機械学習の問題は、公平性、安全性、精度などの複数のパフォーマンス指標間でトレードオフを行う必要がある複数の基準を使用した学習で発生します。
または、複数のタスクが共同で最適化され、タスク間で帰納的バイアスを共有するマルチタスク学習です。
この問題は、多くの場合、多目的最適化フレームワークによって解決されます。
ただし、既存の確率的多目的勾配法とそのバリアント (MGDA、PCGrad、CAGrad など) はすべて、バイアスされたノイズの多い勾配方向を採用しており、経験的パフォーマンスの低下につながります。
この目的を達成するために、多目的最適化のための確率的多目的勾配補正 (MoCo) 手法を開発します。
私たちの手法のユニークな特徴は、非凸設定でもバッチサイズを増やすことなく収束を保証できることです。
マルチタスクの教師あり学習と強化学習のシミュレーションにより、最先端の方法と比較して私たちの方法の有効性が実証されています。

要約(オリジナル)

Machine learning problems with multiple objective functions appear either in learning with multiple criteria where learning has to make a trade-off between multiple performance metrics such as fairness, safety and accuracy; or, in multi-task learning where multiple tasks are optimized jointly, sharing inductive bias between them. This problems are often tackled by the multi-objective optimization framework. However, existing stochastic multi-objective gradient methods and its variants (e.g., MGDA, PCGrad, CAGrad, etc.) all adopt a biased noisy gradient direction, which leads to degraded empirical performance. To this end, we develop a stochastic Multi-objective gradient Correction (MoCo) method for multi-objective optimization. The unique feature of our method is that it can guarantee convergence without increasing the batch size even in the non-convex setting. Simulations on multi-task supervised and reinforcement learning demonstrate the effectiveness of our method relative to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google