Editing Implicit Assumptions in Text-to-Image Diffusion Models

要約

テキストから画像への拡散モデルは、画像を生成するときに世界について暗黙の仮定を行うことがよくあります。
いくつかの仮定は有用ですが (空は青いなど)、時代遅れであったり、正しくなかったり、トレーニング データに存在する社会的偏見を反映している可能性もあります。
したがって、明示的なユーザー入力やコストのかかる再トレーニングを必要とせずに、これらの仮定を制御する必要があります。
この作業では、事前にトレーニングされた拡散モデルで特定の暗黙の仮定を編集することを目指しています。
私たちの Text-to-Image Model Editing メソッド、略して TIME は、モデルが暗黙の仮定 (例えば、「バラの花束」) を行う「ソース」の指定不足のプロンプトと、「
同じ設定を説明するが、目的の属性が指定された [destination] プロンプト (たとえば、’a pack of blue roses’)。
次に、TIME はモデルの相互注意層を更新します。これらの層はテキスト トークンに視覚的な意味を割り当てます。
ソース プロンプトが宛先プロンプトの近くに投影されるように、これらのレイヤーの射影行列を編集します。
私たちの方法は非常に効率的で、1 秒以内にモデルのパラメーターのわずか 2.2% を変更するだけです。
モデル編集アプローチを評価するために、さまざまなドメインからの 147 のソースと宛先のプロンプト ペアを含む TIMED (TIME データセット) を導入します。
私たちの実験 (Stable Diffusion を使用) は、TIME がモデルの編集に成功し、編集中に見えない関連するプロンプトに対して適切に一般化し、無関係な世代への影響を最小限に抑えることを示しています。

要約(オリジナル)

Text-to-image diffusion models often make implicit assumptions about the world when generating images. While some assumptions are useful (e.g., the sky is blue), they can also be outdated, incorrect, or reflective of social biases present in the training data. Thus, there is a need to control these assumptions without requiring explicit user input or costly re-training. In this work, we aim to edit a given implicit assumption in a pre-trained diffusion model. Our Text-to-Image Model Editing method, TIME for short, receives a pair of inputs: a ‘source’ under-specified prompt for which the model makes an implicit assumption (e.g., ‘a pack of roses’), and a ‘destination’ prompt that describes the same setting, but with a specified desired attribute (e.g., ‘a pack of blue roses’). TIME then updates the model’s cross-attention layers, as these layers assign visual meaning to textual tokens. We edit the projection matrices in these layers such that the source prompt is projected close to the destination prompt. Our method is highly efficient, as it modifies a mere 2.2% of the model’s parameters in under one second. To evaluate model editing approaches, we introduce TIMED (TIME Dataset), containing 147 source and destination prompt pairs from various domains. Our experiments (using Stable Diffusion) show that TIME is successful in model editing, generalizes well for related prompts unseen during editing, and imposes minimal effect on unrelated generations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google