Cross-task Attention Mechanism for Dense Multi-task Learning

要約

マルチタスク学習は、最近、複雑なシーンを包括的に理解するための有望なソリューションになりました。
メモリ効率が高いだけでなく、適切な設計のマルチタスクモデルは、タスク間での補完的な信号の交換に有利に働きます。
この作業では、2Dセマンティックセグメンテーションと、2つのジオメトリ関連タスク、つまり、密な深さ、表面法線推定、および屋内と屋外のデータセットでの利点を示すエッジ推定に共同で取り組みます。
すべてのタスクの平均表現学習を強化するために、相関誘導注意と自己注意を通じてペアワイズクロスタスク交換を活用する新しいマルチタスク学習アーキテクチャを提案します。
3つのマルチタスク設定を考慮して広範な実験を実施し、合成ベンチマークと実際のベンチマークの両方で競合するベースラインと比較した場合の提案の利点を示しています。
また、この方法を新しいマルチタスク教師なしドメイン適応設定に拡張します。
私たちのコードはhttps://github.com/cv-rits/DenseMTLで入手できます。

要約(オリジナル)

Multi-task learning has recently become a promising solution for a comprehensive understanding of complex scenes. Not only being memory-efficient, multi-task models with an appropriate design can favor exchange of complementary signals across tasks. In this work, we jointly address 2D semantic segmentation, and two geometry-related tasks, namely dense depth, surface normal estimation as well as edge estimation showing their benefit on indoor and outdoor datasets. We propose a novel multi-task learning architecture that exploits pair-wise cross-task exchange through correlation-guided attention and self-attention to enhance the average representation learning for all tasks. We conduct extensive experiments considering three multi-task setups, showing the benefit of our proposal in comparison to competitive baselines in both synthetic and real benchmarks. We also extend our method to the novel multi-task unsupervised domain adaptation setting. Our code is available at https://github.com/cv-rits/DenseMTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google