VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset

要約

タイトル：ビジョン・オーディオ・ランゲージ・オムニパーセプションの事前学習モデルとデータセット（VALOR）

要約：
– VALORは、複数のモーダルな理解と生成のためのビジョン・オーディオ・ランゲージ・オムニパーセプション事前学習モデルである。
– 既存のビジョン・ランゲージ事前学習モデルとは異なり、VALORはビジョン、オーディオ、言語の関係を統合的にモデル化している。
– VALORは、シングルモダリティ表現のための3つの別々のエンコーダと、マルチモーダル条件付きテキスト生成のためのデコーダを含んでいる。
– VALORモデルを事前学習するために、Multimodal Grouping Alignment（MGA）およびMultimodal Grouping Captioning（MGC）を含む2つの先兆的タスクを設計している。
– AUDIBLEビデオにヒューマンアノテーションされたオーディオビジュアルキャプションを含む大規模で高品質なトライモーダルデータセットVALOR-1Mを構築した。
– VALORは、強力なマルチモーダル相関関係を学習し、異なる入力モダリティ（ビジョン・ランゲージ、オーディオ・ランゲージ、オーディオビジュアル・ランゲージ）、異なるダウンストリームタスク（検索、キャプション生成、質問回答など）に汎化できることを示した。
– VALORは、一連の公開クロスモダリティベンチマークで新しい最先端の性能を発揮している。 プロジェクトのページhttps://casia-iva-group.github.io/projects/VALORでコードとデータが利用可能である。

要約(オリジナル)

In this paper, we propose a Vision-Audio-Language Omni-peRception pretraining model (VALOR) for multi-modal understanding and generation. Different from widely-studied vision-language pretraining models, VALOR jointly models relationships of vision, audio and language in an end-to-end manner. It contains three separate encoders for single modality representations, and a decoder for multimodal conditional text generation. We design two pretext tasks to pretrain VALOR model, including Multimodal Grouping Alignment (MGA) and Multimodal Grouping Captioning (MGC). MGA projects vision, language and audio to the same common space, building vision-language, audio-language and audiovisual-language alignment simultaneously. MGC learns how to generate text tokens in conditions of vision, audio or their both. To promote vision-audio-language pretraining research, we construct a large-scale high-quality tri-modality dataset named VALOR-1M, which contains 1M audiable videos with human annotated audiovisual captions. Extensive experiments show that VALOR can learn strong multimodal correlations and be generalized to various downstream tasks (e.g., retrieval, captioning and question answering), with different input modalities (e.g., vision-language, audio-language and audiovisual-language). VALOR achieves new state-of-the-art performances on series of public cross-modality benchmarks. Code and data are available at project page https://casia-iva-group.github.io/projects/VALOR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI