Video Unlearning via Low-Rank Refusal Vector

要約

ビデオ生成モデルは、次の直感的な指導を通じて視覚コンテンツの作成を民主化しますが、Webスケールのトレーニングデータに組み込まれたバイアスと有害な概念も継承します。
ユーザーは望ましくない、さらには違法なコンテンツを容易に生成できるため、この継承は重大なリスクを生み出します。
この作業では、この重要な問題に対処するために、ビデオ拡散モデル向けに明示的に調整された最初の学習技術を紹介します。
私たちの方法では、5つのマルチモーダルプロンプトペアのみが必要です。
各ペアには、ターゲットの概念によってのみ異なる「安全」と「安全でない」例が含まれています。
層ごとの潜在的な違いを平均すると、「拒否ベクター」が生成されます。これは、モデルパラメーターから差し引かれると、危険な概念を中和します。
堅牢な拒否ベクターを生成する埋め込みの共分散の違いに関する新しい低ランク因数分解アプローチを導入します。
これにより、ターゲットの概念が分離され、他のセマンティクスの副次的な学習を最小限に抑え、生成されたビデオの視覚的品質を維持します。
この方法は、元のトレーニングデータへの再訓練やアクセスなしで動作しながら、モデルの生成品質を保持します。
拒否の方向をモデルの重みに直接埋め込むことにより、抑制メカニズムは、表面レベルの入出力フィルターと比較して、敵対的なバイパスの試みに対して本質的に堅牢になります。
徹底的な定性的および定量的評価では、明示的なヌード、グラフィック暴力、著作権、商標など、さまざまな有害なコンテンツを中和できることを示しています。
プロジェクトページ：https：//www.pinlab.org/video-unlearning。

要約(オリジナル)

Video generative models democratize the creation of visual content through intuitive instruction following, but they also inherit the biases and harmful concepts embedded within their web-scale training data. This inheritance creates a significant risk, as users can readily generate undesirable and even illegal content. This work introduces the first unlearning technique tailored explicitly for video diffusion models to address this critical issue. Our method requires 5 multi-modal prompt pairs only. Each pair contains a ‘safe’ and an ‘unsafe’ example that differ only by the target concept. Averaging their per-layer latent differences produces a ‘refusal vector’, which, once subtracted from the model parameters, neutralizes the unsafe concept. We introduce a novel low-rank factorization approach on the covariance difference of embeddings that yields robust refusal vectors. This isolates the target concept while minimizing collateral unlearning of other semantics, thus preserving the visual quality of the generated video. Our method preserves the model’s generation quality while operating without retraining or access to the original training data. By embedding the refusal direction directly into the model’s weights, the suppression mechanism becomes inherently more robust against adversarial bypass attempts compared to surface-level input-output filters. In a thorough qualitative and quantitative evaluation, we show that we can neutralize a variety of harmful contents, including explicit nudity, graphic violence, copyrights, and trademarks. Project page: https://www.pinlab.org/video-unlearning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google