LaDiC: Are Diffusion Models Really Inferior to Autoregressive Counterparts for Image-to-Text Generation?

要約

拡散モデルは、テキストから画像への生成において顕著な機能を発揮しました。
ただし、画像からテキストへの生成、特に画像キャプションのパフォーマンスは自動回帰 (AR) モデルに比べて遅れており、そのようなタスクへの適用性に疑問が生じています。
この研究では、拡散モデルを再検討し、全体的なコンテキスト モデリングと並列デコードの能力に焦点を当てます。
これらの利点により、拡散モデルは、遅い推論速度、エラー伝播、一方向制約などの AR 手法に固有の制限を軽減できます。
さらに、画像とテキストの位置合わせのための有効な潜在空間の欠如と、連続拡散プロセスと離散テキストデータ間の不一致に起因する拡散モデルの以前のパフォーマンスの低下を特定します。
これに応えて、分割 BERT を利用してキャプション専用の潜在スペースを作成し、さまざまなテキスト長を管理するための正則化モジュールを統合する新しいアーキテクチャである LaDiC を導入します。
私たちのフレームワークには、セマンティックな画像からテキストへの変換のためのディフューザーと、推論中のトークンの対話性を強化する Back&Refine 手法も含まれています。
LaDiC は、38.2 BLEU@4 および 126.2 CIDEr を備えた MS COCO データセット上で拡散ベースの手法に対して最先端のパフォーマンスを実現し、事前トレーニングや補助モジュールなしで優れたパフォーマンスを実証します。
これは AR モデルとの強力な競争力を示しており、画像からテキストへの生成における拡散モデルのこれまで未開発の可能性が明らかになりました。

要約(オリジナル)

Diffusion models have exhibited remarkable capabilities in text-to-image generation. However, their performance in image-to-text generation, specifically image captioning, has lagged behind Auto-Regressive (AR) models, casting doubt on their applicability for such tasks. In this work, we revisit diffusion models, highlighting their capacity for holistic context modeling and parallel decoding. With these benefits, diffusion models can alleviate the inherent limitations of AR methods, including their slow inference speed, error propagation, and unidirectional constraints. Furthermore, we identify the prior underperformance of diffusion models stemming from the absence of an effective latent space for image-text alignment, and the discrepancy between continuous diffusion processes and discrete textual data. In response, we introduce a novel architecture, LaDiC, which utilizes a split BERT to create a dedicated latent space for captions and integrates a regularization module to manage varying text lengths. Our framework also includes a diffuser for semantic image-to-text conversion and a Back&Refine technique to enhance token interactivity during inference. LaDiC achieves state-of-the-art performance for diffusion-based methods on the MS COCO dataset with 38.2 BLEU@4 and 126.2 CIDEr, demonstrating exceptional performance without pre-training or ancillary modules. This indicates strong competitiveness with AR models, revealing the previously untapped potential of diffusion models in image-to-text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google