Device Tuning for Multi-Task Large Model

要約

教師なし事前トレーニング アプローチは、コンピューター ビジョン (CV)、自然言語処理 (NLP) などの多くの分野で大きな成功を収めています。
ただし、典型的な深層学習モデルと比較して、最先端の自己注意モデルの事前トレーニングまたは微調整は、はるかに多くの計算リソースとメモリ リソースを必要とするため、非常にコストがかかります。
特にマルチタスク学習の場合、さまざまなドメインでのアプリケーションと成功が大幅に制限されます。
効率を改善するために、効率的なマルチタスク モデルのデバイス チューニングを提案します。これは、クラウドとデバイス全体にわたる大規模なマルチタスク フレームワークであり、多くの異なるタスクによりよく一般化する表現の学習を促進するように設計されています。
具体的には、表現の圧縮によってデバイスとクラウド間の通信を削減する、クラウド モデリングとデバイス モデリングの両方にメリットをもたらすマルチタスク モデルのデバイス チューニング アーキテクチャを設計します。
実験結果は、提案した方法の有効性を示しています。

要約(オリジナル)

Unsupervised pre-training approaches have achieved great success in many fields such as Computer Vision (CV), Natural Language Processing (NLP) and so on. However, compared to typical deep learning models, pre-training or even fine-tuning the state-of-the-art self-attention models is extremely expensive, as they require much more computational and memory resources. It severely limits their applications and success in a variety of domains, especially for multi-task learning. To improve the efficiency, we propose Device Tuning for the efficient multi-task model, which is a massively multitask framework across the cloud and device and is designed to encourage learning of representations that generalize better to many different tasks. Specifically, we design Device Tuning architecture of a multi-task model that benefits both cloud modelling and device modelling, which reduces the communication between device and cloud by representation compression. Experimental results demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google