TokBench: Evaluating Your Visual Tokenizer before Visual Generation

要約

この作業では、細粒の特徴を保存する際の視覚トークナザーとVAEの限界を明らかにし、テキストと顔の2つの挑戦的な視覚コンテンツの再構成パフォーマンスを評価するためのベンチマークを提案します。
視覚トークナーとVAEは、より効率的な圧縮または量子化された画像表現を提供することにより、視覚生成とマルチモーダルモデリングを大幅に進めました。
ただし、生産モデルが計算負担を軽減するのを支援する一方で、画像圧縮による情報損失は視覚生成品質の上限を根本的に制限します。
この上限を評価するために、通常：1）より小さなスケールで存在するので、再構築されたテキストと顔の特徴の評価に焦点を当てます。
最初に、既存のデータセットからさまざまなクリアテキストと顔の画像のセットを収集してキュレートします。
VLMモデルを使用したアプローチとは異なり、評価のために確立されたOCRおよびフェイス認識モデルを採用し、非常に軽量評価プロセスを維持しながら精度を確保します完了するには2GBのメモリと4分が必要です。
ベンチマークを使用して、さまざまな画像トーナイザーとVAEのさまざまなスケールでテキストと顔の再構成品質を分析します。
私たちの結果は、現代の視覚トークンザーが、特に小規模で、きめ細かい機能を維持するのに依然として苦労していることを示しています。
さらに、この評価フレームワークをビデオに拡張し、ビデオトークナーの包括的な分析を実施します。
さらに、従来のメトリックが顔とテキストの再構成パフォーマンスを正確に反映していない一方で、提案されたメトリックが効果的な補完として機能することを実証します。

要約(オリジナル)

In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process requiring just 2GB memory and 4 minutes to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google