When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers

要約

タスク算術とは、タスクベクトルの加重合計を追加することにより、事前に訓練されたモデルの編集を指します。各タスクモデルから特定のタスクの微調整モデルまでの重量アップデートです。
このアプローチは最近、モデル編集、たとえばマルチタスク学習、忘却、およびドメイン外の一般化機能のための計算効率的な推論方法として注目を集めました。
ただし、トレーニングトランスベースのモデルが非常に非信頼性により、タスクベクトルがさまざまな概念操作を実行できる理由の理論的理解は限られたままです。
私たちの知る限り、この論文は、非線形トランスのタスクベクトルメソッドの一般化保証の最初の理論的特性を提供します。
概念学習設定を検討します。ここでは、各タスクは識別パターンに基づいたバイナリ分類問題です。
私たちは、無関係または矛盾したタスクから1つのタスクを学習する際のタスク否定の成功と同時に、無関係なタスクまたは整合したタスクのセットを同時に学習する際のタスクの追加の有効性を理論的に証明します。
さらに、ドメイン外のタスクに保証された一般化を実現するために、タスク算術の線形係数の適切な選択を証明します。
私たちの理論的結果はすべて、密度の高い重量パラメーターとそれらの低ランク近似の両方に当てはまります。
概念的な設定で確立されましたが、私たちの理論的調査結果は、大規模な言語モデルPHI-1.5（1.3b）を使用して、実用的なマシンの未学習タスクで検証されました。

要約(オリジナル)

Task arithmetic refers to editing the pre-trained model by adding a weighted sum of task vectors, each of which is the weight update from the pre-trained model to fine-tuned models for certain tasks. This approach recently gained attention as a computationally efficient inference method for model editing, e.g., multi-task learning, forgetting, and out-of-domain generalization capabilities. However, the theoretical understanding of why task vectors can execute various conceptual operations remains limited, due to the highly non-convexity of training Transformer-based models. To the best of our knowledge, this paper provides the first theoretical characterization of the generalization guarantees of task vector methods on nonlinear Transformers. We consider a conceptual learning setting, where each task is a binary classification problem based on a discriminative pattern. We theoretically prove the effectiveness of task addition in simultaneously learning a set of irrelevant or aligned tasks, as well as the success of task negation in unlearning one task from irrelevant or contradictory tasks. Moreover, we prove the proper selection of linear coefficients for task arithmetic to achieve guaranteed generalization to out-of-domain tasks. All of our theoretical results hold for both dense-weight parameters and their low-rank approximations. Although established in a conceptual setting, our theoretical findings were validated on a practical machine unlearning task using the large language model Phi-1.5 (1.3B).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google