FAMO: Fast Adaptive Multitask Optimization

要約

AI の永続的な壮大な目標の 1 つは、マルチタスク学習 (MTL) を通じて多様なデータから複数の異なるタスクを学習できるジェネラリスト エージェントを作成することです。
ただし、すべてのタスクにわたる平均損失の勾配降下法 (GD) では、特定のタスクの最適化が著しく不十分であるため、マルチタスクのパフォーマンスが低下する可能性があります。
よりバランスのとれた損失減少のためにタスク勾配を操作する以前のアプローチでは、すべてのタスク勾配 (O(K) 個の空間と時間、K はタスクの数) を保存して計算する必要があり、大規模なシナリオでの使用が制限されていました。
この研究では、O(1) の空間と時間を使用してバランスの取れた方法でタスクの損失を減らす動的重み付け手法である高速適応マルチタスク最適化 (FAMO) を導入します。
私たちは、マルチタスク教師あり強化学習の問題をカバーする広範な実験を実施します。
私たちの結果は、FAMO がスペースと計算効率の大幅な向上をもたらしながら、最先端の勾配操作技術と同等またはそれ以上のパフォーマンスを達成することを示しています。
コードは https://github.com/Cranial-XIX/FAMO で入手できます。

要約(オリジナル)

One of the grand enduring goals of AI is to create generalist agents that can learn multiple different tasks from diverse data via multitask learning (MTL). However, gradient descent (GD) on the average loss across all tasks may yield poor multitask performance due to severe under-optimization of certain tasks. Previous approaches that manipulate task gradients for a more balanced loss decrease require storing and computing all task gradients (O(K) space and time where K is the number of tasks), limiting their use in large-scale scenarios. In this work, we introduce Fast Adaptive Multitask Optimization (FAMO), a dynamic weighting method that decreases task losses in a balanced way using O(1) space and time. We conduct an extensive set of experiments covering multi-task supervised and reinforcement learning problems. Our results indicate that FAMO achieves comparable or superior performance to state-of-the-art gradient manipulation techniques while offering significant improvements in space and computational efficiency. Code is available at https://github.com/Cranial-XIX/FAMO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google