Multi-Task Cooperative Learning via Searching for Flat Minima

要約

マルチタスク学習 (MTL) は医用画像解析において大きな可能性を示しており、学習された特徴の一般化性と個々のタスクのパフォーマンスが向上します。
ただし、MTL に関する作業のほとんどはアーキテクチャ設計または勾配操作のいずれかに焦点を当てており、どちらのシナリオでも機能は競合する方法で学習されます。
この研究では、MTL をマルチ/バイレベルの最適化問題として定式化することを提案します。これにより、協調的なアプローチで各タスクから機能を強制的に学習させることができます。
具体的には、他のタスクの学習されたサブモデルを交互に利用して、各タスクのサブモデルを更新します。
最適化中の負の伝達問題を軽減するために、他のタスクからの特徴に関して現在の目的関数の平らな最小値を検索します。
提案されたアプローチの有効性を実証するために、公開されている 3 つのデータセットで方法を検証します。
提案された方法は協調学習の利点を示しており、最先端の MTL アプローチと比較すると有望な結果が得られます。
コードはオンラインで入手可能になります。

要約(オリジナル)

Multi-task learning (MTL) has shown great potential in medical image analysis, improving the generalizability of the learned features and the performance in individual tasks. However, most of the work on MTL focuses on either architecture design or gradient manipulation, while in both scenarios, features are learned in a competitive manner. In this work, we propose to formulate MTL as a multi/bi-level optimization problem, and therefore force features to learn from each task in a cooperative approach. Specifically, we update the sub-model for each task alternatively taking advantage of the learned sub-models of the other tasks. To alleviate the negative transfer problem during the optimization, we search for flat minima for the current objective function with regard to features from other tasks. To demonstrate the effectiveness of the proposed approach, we validate our method on three publicly available datasets. The proposed method shows the advantage of cooperative learning, and yields promising results when compared with the state-of-the-art MTL approaches. The code will be available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google