Learning Task-preferred Inference Routes for Gradient De-conflict in Multi-output DNNs

要約

マルチアウトプットディープニューラルネットワーク（MON）には複数のタスクブランチが含まれており、これらのタスクは通常、異なるタスク推論ルートの絡み合いにつながる部分的なネットワークフィルターを共有します。
一貫性のない最適化の目的により、モンのトレーニングに使用されるタスク勾配は、共有ルートで互いに干渉し、モデル全体のパフォーマンスが低下します。
この問題に対処するために、この作業では、DR-MGF（動的ルートとメタ加重勾配融合）という名前の新しい勾配de-flictアルゴリズムを提案します。
既存の紛争法とは異なり、DR-MGFは、タスク優先推論ルートを学習することにより、モンで勾配排出紛争を実現します。
提案された方法は、実験結果によって動機付けられています。共有フィルターは、異なるタスクにとって等しく重要ではありません。
学習可能なタスク固有の重要性変数を設計することにより、DR-MGFはさまざまなタスクのフィルターの重要性を評価します。
フィルター上のタスクの支配を、フィルターのタスク固有の重要性に比例させることにより、DR-MGFはタスク間干渉を効果的に減らすことができます。
タスク固有の重要性変数は、最終的にトレーニングの反復の終了時にタスク優先推論ルートを決定します。
CIFAR、Imagenet、およびNyuv2に関する広範な実験結果は、DR-MGFがモンの予測精度と収束速度の両方で既存のde紛争方法を上回ることを示しています。
さらに、DR-MGFは、ネットワーク構造全体を変更せずに一般的なモンに拡張できます。

要約(オリジナル)

Multi-output deep neural networks(MONs) contain multiple task branches, and these tasks usually share partial network filters that lead to the entanglement of different task inference routes. Due to the inconsistent optimization objectives, the task gradients used for training MONs will interfere with each other on the shared routes, which will decrease the overall model performance. To address this issue, we propose a novel gradient de-conflict algorithm named DR-MGF(Dynamic Routes and Meta-weighted Gradient Fusion) in this work. Different from existing de-conflict methods, DR-MGF achieves gradient de-conflict in MONs by learning task-preferred inference routes. The proposed method is motivated by our experimental findings: the shared filters are not equally important to different tasks. By designing the learnable task-specific importance variables, DR-MGF evaluates the importance of filters for different tasks. Through making the dominances of tasks over filters be proportional to the task-specific importance of filters, DR-MGF can effectively reduce the inter-task interference. The task-specific importance variables ultimately determine task-preferred inference routes at the end of training iterations. Extensive experimental results on CIFAR, ImageNet, and NYUv2 illustrate that DR-MGF outperforms the existing de-conflict methods both in prediction accuracy and convergence speed of MONs. Furthermore, DR-MGF can be extended to general MONs without modifying the overall network structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google