Accelerating Vision-Language Pretraining with Free Language Modeling

要約

視覚言語事前トレーニング (VLP) の最先端技術は、模範的なパフォーマンスを達成しますが、特に大規模な Web データセットでは、収束が遅く、トレーニング時間が長いため、トレーニング コストが高くなります。
トレーニング効率に対する本質的な障害は、マスクされた言語モデリング (MLM) におけるもつれ予測率 (再構築のためのトークンの割合) と破損率 (破損したトークンの割合) にあります。
出力トークンの大部分が予測損失から除外されています。
VLP の収束を加速するために、任意の破損率で 100% の予測率を可能にする新しい事前トレーニング タスク、つまり無料言語モデリング (FLM) を提案します。
FLM は、予測されるトークンごとに破損範囲をカスタマイズできるようにしながら、破損率との結びつきから予測率をうまく解放します。
FLM でトレーニングされたモデルは、双方向のコンテキストをより柔軟に利用することで、同じ GPU 時間を与えられた場合に、より良く、より速く学習することが推奨されます。
広範な実験により、FLM は MLM ベースの方法と比較して 2.5 倍の事前トレーニング時間の大幅な削減を達成できる一方で、視覚言語の理解と生成タスクの両方で競争力のあるパフォーマンスを維持できることが示されています。
コードは https://github.com/TencentARC/FLM で公開されます。

要約(オリジナル)

The state of the arts in vision-language pretraining (VLP) achieves exemplary performance but suffers from high training costs resulting from slow convergence and long training time, especially on large-scale web datasets. An essential obstacle to training efficiency lies in the entangled prediction rate (percentage of tokens for reconstruction) and corruption rate (percentage of corrupted tokens) in masked language modeling (MLM), that is, a proper corruption rate is achieved at the cost of a large portion of output tokens being excluded from prediction loss. To accelerate the convergence of VLP, we propose a new pretraining task, namely, free language modeling (FLM), that enables a 100% prediction rate with arbitrary corruption rates. FLM successfully frees the prediction rate from the tie-up with the corruption rate while allowing the corruption spans to be customized for each token to be predicted. FLM-trained models are encouraged to learn better and faster given the same GPU time by exploiting bidirectional contexts more flexibly. Extensive experiments show FLM could achieve an impressive 2.5x pretraining time reduction in comparison to the MLM-based methods, while keeping competitive performance on both vision-language understanding and generation tasks. Code will be public at https://github.com/TencentARC/FLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google