Dual Modalities of Text: Visual and Textual Generative Pre-training

要約

ビジュアル テキストの活用は、言語モデリングの進化におけるフロンティアの急成長を表しています。
この論文では、RGB 画像としてレンダリングされた 4 億を超えるドキュメントのコーパスで事前トレーニングを行う、ピクセルベースの自己回帰言語モデルのスイートのための新しい事前トレーニング フレームワークを紹介します。
私たちのアプローチは、回帰ヘッドによる次のパッチ予測による視覚データと、分類ヘッドによる次のトークン予測によるテキスト データの両方を扱うデュアルモダリティ トレーニング計画によって特徴付けられます。
この研究は、言語の視覚的様式とテキスト的様式の間の相乗的な相互作用を調査することに特に焦点を当てています。
さまざまなベンチマークにわたる包括的な評価により、ビジュアル データとテキスト データの融合により、ピクセル ベースの言語モデルの有効性が大幅に強化されることが明らかになりました。
特に、私たちの調査結果は、トレーニング中にテキストデータを持たない単方向ピクセルベースのモデルが、さまざまな言語理解ベンチマークで高度な双方向ピクセルベースモデルのパフォーマンスレベルに匹敵する可能性があることを示しています。
この研究は、言語モデリングを目的として視覚情報とテキスト情報を統合することの大きな可能性を浮き彫りにしています。
研究をさらに進めるため、コード、データ、チェックポイントを公開します。

要約(オリジナル)

Harnessing visual texts represents a burgeoning frontier in the evolution of language modeling. In this paper, we introduce a novel pre-training framework for a suite of pixel-based autoregressive language models, pre-training on a corpus of over 400 million documents rendered as RGB images. Our approach is characterized by a dual-modality training regimen, engaging both visual data through next patch prediction with a regression head and textual data via next token prediction with a classification head. This study is particularly focused on investigating the synergistic interplay between visual and textual modalities of language. Our comprehensive evaluation across a diverse array of benchmarks reveals that the confluence of visual and textual data substantially augments the efficacy of pixel-based language models. Notably, our findings show that a unidirectional pixel-based model, devoid of textual data during training, can match the performance levels of advanced bidirectional pixel-based models on various language understanding benchmarks. This work highlights the considerable untapped potential of integrating visual and textual information for language modeling purposes. We will release our code, data, and checkpoints to inspire further research advancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google