Cross-Task Affinity Learning for Multitask Dense Scene Predictions

要約

マルチタスク学習 (MTL) は、複数のタスクを共同で予測する機能で有名になり、単一タスク学習よりも少ないパラメーターで優れたタスクごとのパフォーマンスを実現します。
最近、デコーダに重点を置いたアーキテクチャは、関連タスクの特徴を使用してタスク予測を洗練することにより、マルチタスクのパフォーマンスを大幅に向上させました。
ただし、ほとんどの改良方法は、タスク固有の表現とタスク間パターンの間の局所的および長期的な依存関係の両方を効率的に捕捉するのに苦労しています。
このペーパーでは、マルチタスク ネットワークにおけるタスクの改良を強化する軽量フレームワークである Cross-Task Affinity Learning (CTAL) モジュールを紹介します。
CTAL は、情報損失を気にすることなく、パラメータ効率の高いグループ化畳み込みのタスク アフィニティ行列を最適化することで、ローカルおよび長距離のクロスタスク相互作用を効果的にキャプチャします。
私たちの結果は、シングルタスク学習よりも大幅に少ないパラメーターを使用して、CNN とトランスフォーマー バックボーンの両方で最先端の MTL パフォーマンスを示しています。
私たちのコードは https://github.com/Armanfard-Lab/EMA-Net で公開されています。

要約(オリジナル)

Multitask learning (MTL) has become prominent for its ability to predict multiple tasks jointly, achieving better per-task performance with fewer parameters than single-task learning. Recently, decoder-focused architectures have significantly improved multitask performance by refining task predictions using features from related tasks. However, most refinement methods struggle to efficiently capture both local and long-range dependencies between task-specific representations and cross-task patterns. In this paper, we introduce the Cross-Task Affinity Learning (CTAL) module, a lightweight framework that enhances task refinement in multitask networks. CTAL effectively captures local and long-range cross-task interactions by optimizing task affinity matrices for parameter-efficient grouped convolutions without concern for information loss. Our results demonstrate state-of-the-art MTL performance for both CNN and transformer backbones, using significantly fewer parameters than single-task learning. Our code is publicly available at https://github.com/Armanfard-Lab/EMA-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google