PEFT-Ref: A Modular Reference Architecture and Typology for Parameter-Efficient Finetuning Techniques

要約

タイトル：PEFT-Ref：パラメータ効率的なファインチューニング技術のためのモジュール化リファレンスアーキテクチャおよびタイポロジー

要約：

– 最近のパラメータ効率的なファインチューニング（PEFT）技術は、大規模な事前学習言語モデル（PLM）の完全なファインチューニングのコストを改善することを目的としています。
– PEFT技術が増加するにつれて、特に(i) PLMに追加する構造と機能、(ii)達成される効率改善の異なるタイプと度合い、(iii)異なる下流タスクでのパフォーマンス、および(iii)構造と機能の違いが効率とタスクのパフォーマンスにどのように関係するか、比較することが困難になっています。
– この論文では、異なるPEFT技術で共有される側面を標準化し、標準コンポーネントとの特定の場所と相互作用に関連する違いを分離することで、比較を容易にするリファレンスフレームワークが示されています。
– 標準化と差異の分離を通じて、PEFT技術のモジュールビューが浮かび上がり、異なる技術およびそれらの効率とタスクのパフォーマンスの直接比較だけでなく、異なるタイプのファインチューンされたモジュールの再利用および合成の体系的な探索もサポートされます。
– リファレンスフレームワークがどのように適用されるかを示し、PEFT技術の特性と相対的な利点を理解することによって、特定のタスクに対する技術の選択と新しいPEFT技術の設計選択を支援します。

要約(オリジナル)

Recent parameter-efficient finetuning (PEFT) techniques aim to improve over the considerable cost of fully finetuning large pretrained language models (PLM). As different PEFT techniques proliferate, it is becoming difficult to compare them, in particular in terms of (i) the structure and functionality they add to the PLM, (ii) the different types and degrees of efficiency improvements achieved, (iii) performance at different downstream tasks, and (iv) how differences in structure and functionality relate to efficiency and task performance. To facilitate such comparisons, this paper presents a reference framework which standardises aspects shared by different PEFT techniques, while isolating differences to specific locations and interactions with the standard components. Through this process of standardising and isolating differences, a modular view of PEFT techniques emerges, supporting not only direct comparison of different techniques and their efficiency and task performance, but also systematic exploration of reusability and composability of the different types of finetuned modules. We demonstrate how the reference framework can be applied to understand properties and relative advantages of PEFT techniques, hence to inform selection of techniques for specific tasks, and design choices for new PEFT techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI