Selective Task Group Updates for Multi-Task Optimization

要約

マルチタスク学習により、統一されたアーキテクチャ内で複数のタスクをトレーニングすることにより、タスクジェネリの知識を獲得できます。
ただし、すべてのタスクを単一のアーキテクチャで一緒にトレーニングすると、マルチタスク学習の主な関心事であるネガティブ転送として知られるパフォーマンスの劣化につながる可能性があります。
以前の作品は、勾配操作または加重損失調整を通じてマルチタスクネットワークを最適化することにより、この問題に対処しています。
ただし、最適化戦略は、共有パラメーターのタスクの不均衡に対処し、タスク固有のパラメーターの学習を無視することに焦点を当てています。
その結果、共有スペースとタスク固有の情報の学習が最適化中に互いに影響を与えるため、否定的な転送を緩和する際の制限を示しています。
これに対処するために、タスクを選択的にグループ化し、最適化中に各バッチの更新を行うことにより、マルチタスクのパフォーマンスを向上させる別のアプローチを提案します。
学習プロセス中にタスクを効果的にグループ化し、更新する方法を適応的に決定するアルゴリズムを紹介します。
タスク間の関係を追跡し、マルチタスクネットワークを同時に最適化するために、最適化プロセス中に測定できる近位タスク間親和性を提案します。
タスクを複数のグループに分割し、それらを順次更新することが、タスク固有のパラメーターの学習を強化することにより、マルチタスクのパフォーマンスに順番に大きく影響する方法についての理論的分析を提供します。
当社の方法は、以前のマルチタスク最適化アプローチを大幅に上回っており、さまざまなアーキテクチャやさまざまな数のタスクに拡張可能です。

要約(オリジナル)

Multi-task learning enables the acquisition of task-generic knowledge by training multiple tasks within a unified architecture. However, training all tasks together in a single architecture can lead to performance degradation, known as negative transfer, which is a main concern in multi-task learning. Previous works have addressed this issue by optimizing the multi-task network through gradient manipulation or weighted loss adjustments. However, their optimization strategy focuses on addressing task imbalance in shared parameters, neglecting the learning of task-specific parameters. As a result, they show limitations in mitigating negative transfer, since the learning of shared space and task-specific information influences each other during optimization. To address this, we propose a different approach to enhance multi-task performance by selectively grouping tasks and updating them for each batch during optimization. We introduce an algorithm that adaptively determines how to effectively group tasks and update them during the learning process. To track inter-task relations and optimize multi-task networks simultaneously, we propose proximal inter-task affinity, which can be measured during the optimization process. We provide a theoretical analysis on how dividing tasks into multiple groups and updating them sequentially significantly affects multi-task performance by enhancing the learning of task-specific parameters. Our methods substantially outperform previous multi-task optimization approaches and are scalable to different architectures and various numbers of tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google