Multi-Task Dense Prediction via Mixture of Low-Rank Experts

要約

Mixture of Experts (MoE) に基づくこれまでのマルチタスク高密度予測手法は優れたパフォーマンスを発揮しましたが、すべてのタスク間のグローバルな関係を明示的にモデル化する重要性が無視されています。
この論文では、Mixture-of-Low-Rank-Experts (MLoRE) と呼ばれる、マルチタスク高密度予測のためのデコーダに焦点を当てた新しい方法を紹介します。
グローバル タスクの関係をモデル化するために、MLoRE は元の MoE 構造に汎用の畳み込みパスを追加します。各タスク機能はこのパスを経由して明示的なパラメーターを共有できます。
さらに、エキスパートの数の増加によってもたらされるパラメータと計算コストを制御するために、LoRA からインスピレーションを得て、エキスパート ネットワークでバニラ畳み込みの低ランク形式を活用することを提案します。
低ランクのエキスパートはパラメータが少なく、一般的な畳み込みに動的にパラメータ化できるため、エキスパートが増えてもパラメータと計算コストは​​あまり変わりません。
この設計の恩恵を受けて、専門家の数とその受信フィールドを増やして表現能力を拡大し、統合ネットワークでの複数の高密度タスクの学習を促進します。
PASCAL-Context および NYUD-v2 ベンチマークに関する広範な実験により、当社の MLoRE がすべての指標において以前の最先端の手法と比較して優れたパフォーマンスを達成することが示されています。
私たちのコードは https://github.com/YuqiYang213/MLoRE で入手できます。

要約(オリジナル)

Previous multi-task dense prediction methods based on the Mixture of Experts (MoE) have received great performance but they neglect the importance of explicitly modeling the global relations among all tasks. In this paper, we present a novel decoder-focused method for multi-task dense prediction, called Mixture-of-Low-Rank-Experts (MLoRE). To model the global task relationships, MLoRE adds a generic convolution path to the original MoE structure, where each task feature can go through this path for explicit parameter sharing. Furthermore, to control the parameters and computational cost brought by the increase in the number of experts, we take inspiration from LoRA and propose to leverage the low-rank format of a vanilla convolution in the expert network. Since the low-rank experts have fewer parameters and can be dynamically parameterized into the generic convolution, the parameters and computational cost do not change much with the increase of experts. Benefiting from this design, we increase the number of experts and its reception field to enlarge the representation capacity, facilitating multiple dense tasks learning in a unified network. Extensive experiments on the PASCAL-Context and NYUD-v2 benchmarks show that our MLoRE achieves superior performance compared to previous state-of-the-art methods on all metrics. Our code is available at https://github.com/YuqiYang213/MLoRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google