Task-oriented Memory-efficient Pruning-Adapter

要約

タイトル：タスク指向のメモリ効率の高いプルーニングアダプター
要約：

– 最近の大規模言語モデルの優れた性能と増大するモデルサイズは、パラメーターの効率的な学習に関する注目を高めており、その主要なアプローチの2つは、アダプターとプルーニングである。
– アダプターはモデルを凍結して新しい重み行列を与え、トレーニングの時間とメモリを大幅に削減できるが、評価とテストのコストは時間とメモリの消費量が増加することである。
– プルーニングは、一部の重みを切り捨てて残りの重みを再配分することである。これにより、トレーニングの複雑さが犠牲になり、非常に高いメモリとトレーニング時間が発生し、評価とテストのコストは比較的低くなる。つまり、トレーニングと推論の効率を同時に得ることはできない。
– この研究では、高いトレーニングおよびメモリの効率性を達成し、GLUEタスクで精度の著しい低下がなく、トレーニング時間を短縮し、評価とテストのコストを削減するタスク指向のプルーニングアダプター法を提案している。

要約(オリジナル)

The Outstanding performance and growing size of Large Language Models has led to increased attention in parameter efficient learning. The two predominant approaches are Adapters and Pruning. Adapters are to freeze the model and give it a new weight matrix on the side, which can significantly reduce the time and memory of training, but the cost is that the evaluation and testing will increase the time and memory consumption. Pruning is to cut off some weight and re-distribute the remaining weight, which sacrifices the complexity of training at the cost of extremely high memory and training time, making the cost of evaluation and testing relatively low. So efficiency of training and inference can’t be obtained in the same time. In this work, we propose a task-oriented Pruning-Adapter method that achieve a high memory efficiency of training and memory, and speeds up training time and ensures no significant decrease in accuracy in GLUE tasks, achieving training and inference efficiency at the same time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI