ReFACT: Updating Text-to-Image Models by Editing the Text Encoder

要約

Text-to-Image モデルは大量のデータでトレーニングされ、パラメータ内に事実の知識を暗黙的にエンコードします。
一部の事実は有用ですが、その他の事実は不正確であるか、時代遅れになる可能性があります (現在の米国大統領など)。
テキストから画像への生成モデルで事実の知識を編集するための新しいアプローチである ReFACT を紹介します。
ReFACT はテキスト エンコーダーの特定のレイヤーのウェイトを更新し、モデルのパラメーターのごく一部のみを変更し、モデルの残りの部分には影響を与えません。
私たちは、新しく厳選されたデータセットである RoAD と並行して、既存のベンチマークで ReFACT を経験的に評価します。
ReFACT は、無関係な概念を維持しながら、関連する概念への一般化という点で優れたパフォーマンスを実現します。
さらに、ReFACT は画像生成の品質を維持するため、テキストから画像へのモデルにおける事実情報を更新および修正するための貴重なツールになります。

要約(オリジナル)

Text-to-image models are trained on extensive amounts of data, leading them to implicitly encode factual knowledge within their parameters. While some facts are useful, others may be incorrect or become outdated (e.g., the current President of the United States). We introduce ReFACT, a novel approach for editing factual knowledge in text-to-image generative models. ReFACT updates the weights of a specific layer in the text encoder, only modifying a tiny portion of the model’s parameters, and leaving the rest of the model unaffected. We empirically evaluate ReFACT on an existing benchmark, alongside RoAD, a newly curated dataset. ReFACT achieves superior performance in terms of generalization to related concepts while preserving unrelated concepts. Furthermore, ReFACT maintains image generation quality, making it a valuable tool for updating and correcting factual information in text-to-image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google