ReFT: Representation Finetuning for Language Models

要約

パラメータ効率的微調整（PEFT）法は、少数の重みの更新によって大規模モデルを適応させようとするものである。しかし、解釈可能性に関する先行研究の多くは、表現が豊富な意味情報を包含することを示しており、表現を編集することがより強力な代替手段である可能性を示唆している。ここでは、$textbf{Representation Finetuning (ReFT)}$手法のファミリーを開発することで、この仮説を追求する。ReFT法は凍結されたベースモデル上で動作し、隠れた表現に対するタスク特有の介入を学習する。我々はReFTファミリーの強力なインスタンスである低ランク線形部分空間ReFT(LoReFT)を定義する。LoReFTは既存のPEFTのドロップイン代替であり、先行する最先端のPEFTよりも10倍から50倍パラメータ効率の良い介入を学習する。我々はLoReFTを8つのコモンセンス推論タスク、4つの算術推論タスク、Alpaca-Eval v1.0、およびGLUEで紹介する。これら全ての評価において、LoReFTは効率と性能のベストバランスを実現し、ほぼ常に最先端のPEFTを凌駕する。一般的なReFT学習ライブラリをhttps://github.com/stanfordnlp/pyreft。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. Here, we pursue this hypothesis by developing a family of $\textbf{Representation Finetuning (ReFT)}$ methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT is a drop-in replacement for existing PEFTs and learns interventions that are 10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the best balance of efficiency and performance, and almost always outperforms state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL