Model Immunization from a Condition Number Perspective

要約

モデル予防接種の目的は、他の非耐性タスクで有用性を維持しながら、有害なタスクを微調整することが困難な訓練前モデルを目的としています。
以前の研究では、テキストから画像へのモデルを予防するための経験的証拠が示されていますが、予防接種がいつ可能かについての重要な理解と予防接種モデルの正確な定義は不明のままです。
この作業では、ヘシアンマトリックスの条件番号に基づいて、線形モデルのモデル予防接種を分析するフレームワークを提案します。
このフレームワークに基づいて、トレーニング前に結果の条件数を制御するために、正規化項を備えたアルゴリズムを設計します。
線形モデルと非線形ディープネットの経験的結果は、モデルの予防接種に対する提案されたアルゴリズムの有効性を示しています。
このコードは、https：//github.com/amberyzheng/model-immunization-cond-numで入手できます。

要約(オリジナル)

Model immunization aims to pre-train models that are difficult to fine-tune on harmful tasks while retaining their utility on other non-harmful tasks. Though prior work has shown empirical evidence for immunizing text-to-image models, the key understanding of when immunization is possible and a precise definition of an immunized model remain unclear. In this work, we propose a framework, based on the condition number of a Hessian matrix, to analyze model immunization for linear models. Building on this framework, we design an algorithm with regularization terms to control the resulting condition numbers after pre-training. Empirical results on linear models and non-linear deep-nets demonstrate the effectiveness of the proposed algorithm on model immunization. The code is available at https://github.com/amberyzheng/model-immunization-cond-num.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google