Image and Video Tokenization with Binary Spherical Quantization

要約

我々は、Binary Spherical Quantization (BSQ) を備えた新しいトランスフォーマーベースの画像およびビデオトークナイザーを提案します。
BSQ は、高次元の視覚的埋め込みを低次元の超球に投影し、バイナリ量子化を適用します。
BSQ は、(1) 明示的なコードブックがなくてもパラメータ効率が高く、(2) 任意のトークン次元に拡張可能で、(3) コンパクトであり、歪みを最小限に抑えながらビジュアル データを最大 100$\times$ 圧縮します。
私たちのトークナイザーは、単純なブロック単位の因果マスキングを備えたトランスフォーマー エンコーダーとデコーダーを使用して、可変長ビデオを入力としてサポートします。
結果として得られる BSQ-ViT は、画像およびビデオ再構成ベンチマークにおいて、従来の最良の方法と比較して 2.4 倍のスループットで最先端の視覚再構成品質を達成します。
さらに、BSQ-ViT は、適応算術符号化の自己回帰事前分布を学習することにより、最先端のビデオ圧縮規格と同等のビデオ圧縮結果を達成します。
また、BSQ-ViT を使用すると、マスクされた言語モデルで GAN ベースおよび拡散ベースの方法に匹敵する画像合成品質を実現できます。

要約(オリジナル)

We propose a new transformer-based image and video tokenizer with Binary Spherical Quantization (BSQ). BSQ projects the high-dimensional visual embedding to a lower-dimensional hypersphere and then applies binary quantization. BSQ is (1) parameter-efficient without an explicit codebook, (2) scalable to arbitrary token dimensions, and (3) compact: compressing visual data by up to 100$\times$ with minimal distortion. Our tokenizer uses a transformer encoder and decoder with simple block-wise causal masking to support variable-length videos as input. The resulting BSQ-ViT achieves state-of-the-art visual reconstruction quality on image and video reconstruction benchmarks with 2.4$\times$ throughput compared to the best prior methods. Furthermore, by learning an autoregressive prior for adaptive arithmetic coding, BSQ-ViT achieves comparable results on video compression with state-of-the-art video compression standards. BSQ-ViT also enables masked language models to achieve competitive image synthesis quality to GAN- and diffusion-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google