Editing Implicit Assumptions in Text-to-Image Diffusion Models

要約

テキストから画像への拡散モデルは、画像を生成するときに世界について暗黙の仮定を行うことがよくあります。
いくつかの仮定は有用ですが（空は青いなど）、時代遅れであったり、不正確であったり、トレーニング データに存在する社会的バイアスを反映している可能性もあります。
したがって、明示的なユーザー入力やコストのかかる再トレーニングを必要とせずに、これらの仮定を制御する必要があります。
この作業では、事前トレーニングされた拡散モデル内の特定の暗黙の仮定を編集することを目的としています。
Text-to-Image モデル編集メソッド (略して TIME) は、一対の入力を受け取ります: モデルが暗黙的に仮定する「ソース」の指定されていないプロンプト (例: 「バラのパック」)、および
destination’ プロンプトは同じ設定を説明しますが、指定された必要な属性 (例: 「青いバラのパック」) を持ちます。
次に、TIME はモデルのクロスアテンション レイヤーを更新します。これは、これらのレイヤーがテキスト トークンに視覚的な意味を割り当てるためです。
これらのレイヤーの射影行列を編集して、ソース プロンプトが宛先プロンプトの近くに投影されるようにします。
私たちの方法は、1 秒未満でモデルのパラメーターのわずか 2.2% を変更するため、非常に効率的です。
モデル編集アプローチを評価するために、さまざまなドメインからの 147 のソース プロンプトと宛先プロンプトのペアを含む TIMED (TIME データセット) を導入します。
私たちの実験 (安定拡散を使用) では、TIME がモデル編集に成功し、編集中に表示されない関連プロンプトを適切に一般化し、無関係な世代に最小限の影響を与えることが示されました。

要約(オリジナル)

Text-to-image diffusion models often make implicit assumptions about the world when generating images. While some assumptions are useful (e.g., the sky is blue), they can also be outdated, incorrect, or reflective of social biases present in the training data. Thus, there is a need to control these assumptions without requiring explicit user input or costly re-training. In this work, we aim to edit a given implicit assumption in a pre-trained diffusion model. Our Text-to-Image Model Editing method, TIME for short, receives a pair of inputs: a ‘source’ under-specified prompt for which the model makes an implicit assumption (e.g., ‘a pack of roses’), and a ‘destination’ prompt that describes the same setting, but with a specified desired attribute (e.g., ‘a pack of blue roses’). TIME then updates the model’s cross-attention layers, as these layers assign visual meaning to textual tokens. We edit the projection matrices in these layers such that the source prompt is projected close to the destination prompt. Our method is highly efficient, as it modifies a mere 2.2% of the model’s parameters in under one second. To evaluate model editing approaches, we introduce TIMED (TIME Dataset), containing 147 source and destination prompt pairs from various domains. Our experiments (using Stable Diffusion) show that TIME is successful in model editing, generalizes well for related prompts unseen during editing, and imposes minimal effect on unrelated generations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google