Sparse Repellency for Shielded Generation in Text-to-image Diffusion Models

要約

テキストから画像への生成における拡散モデルの採用の増加により、その信頼性に対する懸念が生じています。
このようなモデルは現在、さまざまな指標、特にキャリブレーション、公平性、計算効率などの観点から厳密に精査されています。
この作業では、これらのモデルを展開するときに発生する 2 つの問題、つまり、画像をプロンプトする際の多様性の欠如と、トレーニング セットから画像を再作成する傾向に焦点を当てます。
両方の問題を解決するために、事前学習された拡散モデルのサンプリングされた軌跡を調整して、参照セットの外にある画像に着地させる方法を提案します。
これは、生成軌道全体を通じて拡散 SDE に反発項を追加することで実現します。これは、パスがシールドされた参照セット内の画像に近すぎると予想される場合にトリガーされます。
ほとんどの場合、これらの忌避項はゼロで非アクティブであり、生成軌跡の終わりに近づくとさらに顕著になるという意味で、私たちの方法はまばらです。
スパース忌避性を意味する SPELL と名付けられたこの方法は、保護された画像を含む静的参照セットで使用することも、バッチ内で同時に生成される予期される画像でタイムステップごとにセットを更新することによって動的に使用することもできます。
一般的な拡散モデルに SPELL を追加すると、FID にわずかな影響を与えながら多様性が向上し、最近のトレーニング不要の多様性手法よりも比較的優れたパフォーマンスを発揮することを示します。
また、SPELL が ImageNet からの 1.2M のすべての画像を保護されたセットとみなすことにより、保護された画像の非常に大きなセットから確実にシールドされた世代を確実に分離できることも示します。

要約(オリジナル)

The increased adoption of diffusion models in text-to-image generation has triggered concerns on their reliability. Such models are now closely scrutinized under the lens of various metrics, notably calibration, fairness, or compute efficiency. We focus in this work on two issues that arise when deploying these models: a lack of diversity when prompting images, and a tendency to recreate images from the training set. To solve both problems, we propose a method that coaxes the sampled trajectories of pretrained diffusion models to land on images that fall outside of a reference set. We achieve this by adding repellency terms to the diffusion SDE throughout the generation trajectory, which are triggered whenever the path is expected to land too closely to an image in the shielded reference set. Our method is sparse in the sense that these repellency terms are zero and inactive most of the time, and even more so towards the end of the generation trajectory. Our method, named SPELL for sparse repellency, can be used either with a static reference set that contains protected images, or dynamically, by updating the set at each timestep with the expected images concurrently generated within a batch. We show that adding SPELL to popular diffusion models improves their diversity while impacting their FID only marginally, and performs comparatively better than other recent training-free diversity methods. We also demonstrate how SPELL can ensure a shielded generation away from a very large set of protected images by considering all 1.2M images from ImageNet as the protected set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google