ReFACT: Updating Text-to-Image Models by Editing the Text Encoder

要約

私たちの世界は、前例のない技術的、世界的、社会政治的な変革を迎えており、テキストから画像への生成モデルに重大な課題をもたらしています。
これらのモデルは、パラメータ内に事実との関連性をエンコードしているため、すぐに時代遅れになり、エンドユーザーにとっての有用性が低下する可能性があります。
そのために、エンドユーザーからの明示的な入力やコストのかかる再トレーニングに頼ることなく、テキストから画像へのモデルにおける事実の関連付けを編集するための新しいアプローチである ReFACT を紹介します。
ReFACT は、テキスト エンコーダーの特定のレイヤーのウェイトを更新し、モデルのパラメーターのごく一部のみを変更し、モデルの残りの部分には影響を与えません。
私たちは、新しく厳選されたデータセットと並行して、既存のベンチマークで ReFACT を経験的に評価します。
ReFACT は、他の手法と比較して、関連する概念への一般化と無関係な概念の保存の両方において優れたパフォーマンスを実現します。
さらに、ReFACT は画像生成の品質を維持するため、テキストから画像へのモデルにおける事実情報を更新および修正するための実用的なツールになります。

要約(オリジナル)

Our world is marked by unprecedented technological, global, and socio-political transformations, posing a significant challenge to text-to-image generative models. These models encode factual associations within their parameters that can quickly become outdated, diminishing their utility for end-users. To that end, we introduce ReFACT, a novel approach for editing factual associations in text-to-image models without relaying on explicit input from end-users or costly re-training. ReFACT updates the weights of a specific layer in the text encoder, modifying only a tiny portion of the model’s parameters and leaving the rest of the model unaffected. We empirically evaluate ReFACT on an existing benchmark, alongside a newly curated dataset. Compared to other methods, ReFACT achieves superior performance in both generalization to related concepts and preservation of unrelated concepts. Furthermore, ReFACT maintains image generation quality, making it a practical tool for updating and correcting factual information in text-to-image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google