De-Diffusion Makes Text a Strong Cross-Modal Interface

要約

強力なクロスモーダル インターフェイスとしてのテキストを示します。
画像と言語をインターフェイス表現として接続する深い埋め込みに依存するのではなく、私たちのアプローチは画像をテキストとして表現し、自然言語に固有の解釈可能性と柔軟性を享受します。
デコードには、事前トレーニングされたテキストから画像への拡散モデルを使用するオートエンコーダーを採用しています。
エンコーダは、入力画像をテキストに変換するようにトレーニングされ、そのテキストが固定のテキストから画像への拡散デコーダに入力されて、元の入力が再構築されます。これを拡散解除と呼ぶプロセスです。
実験により、画像を表す拡散除去テキストの精度と包括性の両方が検証され、多様なマルチモーダル タスク用の既製のテキスト画像変換ツールや LLM で容易に取り込むことができます。
たとえば、単一の拡散除去モデルを一般化して、さまざまなテキストから画像へのツールに転送可能なプロンプトを提供できます。また、大規模な言語モデルにプロンプ​​トをいくつか与えるだけで、オープンエンドの視覚言語タスクに関する新しい最先端の技術を達成することもできます。
ショット例。

要約(オリジナル)

We demonstrate text as a strong cross-modal interface. Rather than relying on deep embeddings to connect image and language as the interface representation, our approach represents an image as text, from which we enjoy the interpretability and flexibility inherent to natural language. We employ an autoencoder that uses a pre-trained text-to-image diffusion model for decoding. The encoder is trained to transform an input image into text, which is then fed into the fixed text-to-image diffusion decoder to reconstruct the original input — a process we term De-Diffusion. Experiments validate both the precision and comprehensiveness of De-Diffusion text representing images, such that it can be readily ingested by off-the-shelf text-to-image tools and LLMs for diverse multi-modal tasks. For example, a single De-Diffusion model can generalize to provide transferable prompts for different text-to-image tools, and also achieves a new state of the art on open-ended vision-language tasks by simply prompting large language models with few-shot examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google