BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

要約

BiGR は、生成トレーニングにコンパクトなバイナリ潜在コードを使用する新しい条件付き画像生成モデルであり、生成と表現の両方の機能の強化に焦点を当てています。
BiGR は、同じフレームワーク内で生成と識別を統合する最初の条件付き生成モデルです。
BiGR は、バイナリ トークナイザー、マスクされたモデリング メカニズム、およびバイナリ コード予測のためのバイナリ トランスコーダを備えています。
さらに、効率的な画像生成を可能にする新しいエントロピー順序付けサンプリング方法を導入します。
広範な実験により、FID-50k によって測定される生成品質とリニアプローブ精度によって証明される表現能力における BiGR の優れたパフォーマンスが検証されています。
さらに、BiGR は、さまざまなビジョン タスクにわたるゼロショットの一般化を示し、構造を変更することなく、画像のインペインティング、アウトペインティング、編集、補間、エンリッチメントなどのアプリケーションを可能にします。
私たちの調査結果は、BiGR が生成タスクと識別タスクを効果的に統合し、この分野のさらなる進歩への道を開くことを示唆しています。

要約(オリジナル)

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR’s superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google