Spectral Image Tokenizer

要約

画像トークナーは、画像を離散トークンのシーケンスにマッピングし、自己回帰トランスベースの画像生成の重要なコンポーネントです。
トークンは通常、入力画像の空間位置に関連付けられており、ラスタースキャン順序で配置されています。
このホワイトペーパーでは、ディスクリートウェーブレット変換（DWT）から取得した代わりに画像スペクトルをトークン化することを提案します。そのため、トークンのシーケンスは粗から洗練された方法で画像を表します。
私たちのトークナイザーはいくつかの利点をもたらします。1）自然な画像は高周波数でより圧縮可能であることをレバレッジします。2）再訓練なしで異なる解像度の画像を取得して再構築できます。
画像の粗いバージョンを再構築する5）自動回帰モデルを画像アップサンプリングに使用できるようにします。
トークン剤の再構成メトリック、マルチスケールの画像生成、テキストガイド付き画像アップサンプリングと編集を評価します。

要約(オリジナル)

Image tokenizers map images to sequences of discrete tokens, and are a crucial component of autoregressive transformer-based image generation. The tokens are typically associated with spatial locations in the input image, arranged in raster scan order, which is not ideal for autoregressive modeling. In this paper, we propose to tokenize the image spectrum instead, obtained from a discrete wavelet transform (DWT), such that the sequence of tokens represents the image in a coarse-to-fine fashion. Our tokenizer brings several advantages: 1) it leverages that natural images are more compressible at high frequencies, 2) it can take and reconstruct images of different resolutions without retraining, 3) it improves the conditioning for next-token prediction — instead of conditioning on a partial line-by-line reconstruction of the image, it takes a coarse reconstruction of the full image, 4) it enables partial decoding where the first few generated tokens can reconstruct a coarse version of the image, 5) it enables autoregressive models to be used for image upsampling. We evaluate the tokenizer reconstruction metrics as well as multiscale image generation, text-guided image upsampling and editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google