PEFT-Ref: A Modular Reference Architecture and Typology for Parameter-Efficient Finetuning Techniques

要約

最近のパラメータ効率の良い微調整 (PEFT) 技術は、大規模な事前トレーニング済み言語モデル (PLM) を完全に微調整するためにかかる多大なコストを改善することを目的としています。
さまざまな PEFT 技術が急増するにつれて、特に (i) PLM に追加される構造と機能、(ii) 達成される効率向上のさまざまな種類と程度、(iii) パフォーマンスの点で、それらを比較することが困難になってきています。
異なる下流タスク、および (iv) 構造と機能の違いが効率とタスクのパフォーマンスにどのように関係するか。
このような比較を容易にするために、このホワイト ペーパーでは、特定の場所と標準コンポーネントとの相互作用に対する違いを分離しながら、さまざまな PEFT 技術によって共有される側面を標準化するリファレンス アーキテクチャを示します。
この標準化と相違点の分離のプロセスを通じて、PEFT 技術のモジュール化されたビューが出現し、さまざまな技術とその効率およびタスクのパフォーマンスの直接比較だけでなく、さまざまな種類の微調整されたモジュールの再利用性と構成可能性の系統的な調査もサポートされます。
PEFT 技術の特性と相対的な利点を理解し、特定のタスクに対する技術の選択や新しい PEFT 技術の設計上の選択に情報を提供するために、リファレンス アーキテクチャをどのように適用できるかを示します。

要約(オリジナル)

Recent parameter-efficient finetuning (PEFT) techniques aim to improve over the considerable cost of fully finetuning large pretrained language models (PLM). As different PEFT techniques proliferate, it is becoming difficult to compare them, in particular in terms of (i) the structure and functionality they add to the PLM, (ii) the different types and degrees of efficiency improvements achieved, (iii) performance at different downstream tasks, and (iv) how differences in structure and functionality relate to efficiency and task performance. To facilitate such comparisons, this paper presents a reference architecture which standardises aspects shared by different PEFT techniques, while isolating differences to specific locations and interactions with the standard components. Through this process of standardising and isolating differences, a modular view of PEFT techniques emerges, supporting not only direct comparison of different techniques and their efficiency and task performance, but also systematic exploration of reusability and composability of the different types of finetuned modules. We demonstrate how the reference architecture can be applied to understand properties and relative advantages of PEFT techniques, hence to inform selection of techniques for specific tasks, and design choices for new PEFT techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google