Challenging Common Assumptions in Multi-task Learning

要約

マルチタスク学習 (MTL) は近年大きな注目を集めていますが、その基礎となるメカニズムはまだ十分に理解されていません。
最近の手法では、シングルタスク学習 (STL) のベースラインと比較して一貫したパフォーマンスの向上が得られず、MTL に特有の課題についてより深い洞察を得ることが重要であることが浮き彫りになりました。
私たちの調査では、STL のコンテキストで MTL の一般的な仮定に疑問を呈します。まず、オプティマイザーの選択は、MTL ではあまり調査されていません。
MTL における Adam オプティマイザーなどの一般的な STL ツールの重要な役割を示します。
Adam の有効性は部分的な損失スケールの不変性から推定されます。
第 2 に、勾配の競合の概念は、MTL 特有の問題としてよく言われます。
MTL における勾配競合の役割を詳しく調べ、STL と比較します。
角度勾配のアライメントについては、これが MTL 特有の問題であるという証拠は見つかりません。
私たちは、主な識別要素として勾配の大きさの違いを強調します。
最後に、一般的な画像破損に関して MTL と STL を通じて学習した特徴の転送可能性を比較しましたが、MTL が優れた転送可能性をもたらすという決定的な証拠は見つかりませんでした。
全体として、STL と MTL の間には驚くべき類似点があり、両方の分野の手法をより広い文脈で検討することが示唆されています。

要約(オリジナル)

While multi-task learning (MTL) has gained significant attention in recent years, its underlying mechanisms remain poorly understood. Recent methods did not yield consistent performance improvements over single task learning (STL) baselines, underscoring the importance of gaining more profound insights about challenges specific to MTL. In our study, we challenge common assumptions in MTL in the context of STL: First, the choice of optimizer has only been mildly investigated in MTL. We show the pivotal role of common STL tools such as the Adam optimizer in MTL. We deduce the effectiveness of Adam to its partial loss-scale invariance. Second, the notion of gradient conflicts has often been phrased as a specific problem in MTL. We delve into the role of gradient conflicts in MTL and compare it to STL. For angular gradient alignment we find no evidence that this is a unique problem in MTL. We emphasize differences in gradient magnitude as the main distinguishing factor. Lastly, we compare the transferability of features learned through MTL and STL on common image corruptions, and find no conclusive evidence that MTL leads to superior transferability. Overall, we find surprising similarities between STL and MTL suggesting to consider methods from both fields in a broader context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google