TokBench: Evaluating Your Visual Tokenizer before Visual Generation

要約

この作業では、細粒の特徴を保存する際の視覚トークナザーとVAEの限界を明らかにし、テキストと顔の2つの挑戦的な視覚コンテンツの再構成パフォーマンスを評価するためのベンチマークを提案します。
画像トークン化は、特に離散トークンのモデリングのシンプルさのために、自己回帰モデルを使用して、視覚的な生成とマルチモーダルモデリングを大幅に進めました。
自己回帰モデルは通常、画像トークンザーに依存して画像を離散トークンに圧縮してシーケンシャル予測を行いますが、拡散モデルはしばしばコンピューティングコストを削減するために連続潜在スペースで動作します。
ただし、両方の視覚的圧縮アプローチは必然的に視覚情報を失い、それにより視覚生成の品質の上限が制限されます。
これらの圧縮損失が最も人間に敏感な視覚要素であるテキストと顔にどのように影響するかを評価するために、最初に既存のデータセットから画像のコレクションを収集してキュレートし、明確さと多様性を確保します。
テキストの再構築には、OCRモデルを使用して再構築されたテキストの認識精度を評価し、元の顔と再構築された顔の特徴の類似性を測定して、顔の再構成の忠実度を定量化します。
私たちの方法は非常に軽量で、評価を完了するのにたった2GBのメモリと4分を必要とします。
ベンチマークを使用して、さまざまな画像トークナーとVAEのさまざまなスケールでテキストと顔の再構成品質を分析します。
我々の結果は、現代の視覚トークナーザーが、特に小規模で、微粒の特徴を維持するのに依然として苦労していることを示しています。
さらに、この評価フレームワークをビデオに拡張し、ビデオトークナーの包括的な分析を実施します。
さらに、従来のメトリックは、顔とテキストの再構成パフォーマンスを正確に反映できないことがわかりますが、提案されたメトリックは効果的な補完として機能します。

要約(オリジナル)

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Image tokenization has significantly advanced visual generation and multimodal modeling, particularly with autoregressive models due to the modeling simplicity of discrete tokens. Autoregressive models typically rely on image tokenizers to compress images into discrete tokens for sequential prediction, whereas diffusion models often operate on continuous latent space to reduce computational costs. However, both visual compression approaches inevitably lose visual information, thereby limiting the upper bound of visual generation quality. To evaluate how these compression losses affect text and faces, the most human-sensitive visual elements, we first collect and curate a collection of text and faces images from existing datasets, ensuring clarity and diversity. For text reconstruction, we employ OCR models to assess the recognition accuracy of the reconstructed text, and then we measure feature similarity between original and reconstructed faces thereby quantifying faces reconstruction fidelity. Our method is highly lightweight, requiring just 2GB memory and 4 minutes to complete evaluations. With our benchmark, we analyze the reconstruction quality of text and faces at various scales across different image tokenizers and VAEs. Our results demonstrate that modern visual tokenizers still struggle to preserve fine-grained features, particularly at smaller scales. Furthermore, we extend this evaluation framework to the video, conducting a comprehensive analysis of video tokenizers. Additionally, we find that traditional metrics fail to accurately reflect the reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google