Editing Models with Task Arithmetic

要約

タイトル：課題算術によるモデルの編集
要約：
– 機械学習システムの開発において、タスクを改善したり、事前学習時に学んだ偏見を緩和するなど、事前学習済みのモデルの動作を変更することは一般的な方法である。
– 本研究では、ニューラルネットワークの動作を調整する新しいパラダイム「タスクベクトル」について提唱する。
– タスクベクトルは、事前学習済みモデルの重み空間内の方向を指定し、その方向に移動することで、タスクの性能を向上させることができる。
– タスクベクトルは、タスクをファインチューニングした後のモデルの重みから事前学習済みモデルの重みを引いて構築される。
– 課題算術は、否定や加算などの演算を介して、タスクベクトルを変更し、結果的なモデルの動作を調整することができる。
– タスクベクトルを否定することで、目標タスクの性能が低下し、制御タスクにはほとんど影響を与えない。
– さらに、タスクベクトルを加算することで、複数のタスクの性能を一度に向上させることができる。
– 最後に「A is to B as C is to D」という形式のアナロジー関係でリンクされたタスクがある場合、3つのタスクからタスクベクトルを組み合わせると、第4のタスクの性能を向上させることができる。この場合、第4のタスクのデータはトレーニングに使用されていなくても良い。
– 本研究のさまざまなモデル、モダリティ、タスクに関する実験結果から、課題算術がモデルの編集において簡単で効果的な方法であることが示された。

要約(オリジナル)

Changing how pre-trained models behave — e.g., improving their performance on a downstream task or mitigating biases learned during pre-training — is a common practice when developing machine learning systems. In this work, we propose a new paradigm for steering the behavior of neural networks, centered around \textit{task vectors}. A task vector specifies a direction in the weight space of a pre-trained model, such that movement in that direction improves performance on the task. We build task vectors by subtracting the weights of a pre-trained model from the weights of the same model after fine-tuning on a task. We show that these task vectors can be modified and combined together through arithmetic operations such as negation and addition, and the behavior of the resulting model is steered accordingly. Negating a task vector decreases performance on the target task, with little change in model behavior on control tasks. Moreover, adding task vectors together can improve performance on multiple tasks at once. Finally, when tasks are linked by an analogy relationship of the form “A is to B as C is to D’, combining task vectors from three of the tasks can improve performance on the fourth, even when no data from the fourth task is used for training. Overall, our experiments with several models, modalities and tasks show that task arithmetic is a simple, efficient and effective way of editing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI