Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning

要約

ビジョン エンコーダー (Flamingo など) を使用して事前トレーニング済みの言語モデル (LM) を拡張すると、画像からテキストへの生成で最先端の結果が得られます。
ただし、これらのモデルはすべての知識をパラメーター内に格納するため、豊富な視覚的概念と非常に豊富なテキスト記述をモデル化するには、膨大なモデル パラメーターが必要になることがよくあります。
さらに、それらは新しいデータを組み込むのに非効率的であり、計算コストの高い微調整プロセスが必要です。
この作業では、Flamingo に基づいて構築された検索拡張ビジュアル言語モデル、Re-ViLM を紹介します。これは、ゼロおよびコンテキスト内の少数ショットの画像からテキストへの生成のために、外部データベースから関連する知識を取得することをサポートします。
外部データベースに特定の知識を明示的に保存することにより、私たちのアプローチはモデルパラメーターの数を減らし、データベースを更新するだけで評価中に新しいデータを簡単に収容できます。
また、コンテキスト内の少数ショット学習機能を促進するインターリーブされた画像とテキスト データを構築します。
Re-ViLM は、画像からテキストへの生成タスクのパフォーマンスを大幅に向上させることを示しています。特に、ベースライン メソッドと比較してパラメーターが 4 分の 1 であるドメイン外設定でのゼロ ショットおよび少数ショット生成のパフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

Augmenting pretrained language models (LMs) with a vision encoder (e.g., Flamingo) has obtained state-of-the-art results in image-to-text generation. However, these models store all the knowledge within their parameters, thus often requiring enormous model parameters to model the abundant visual concepts and very rich textual descriptions. Additionally, they are inefficient in incorporating new data, requiring a computational-expensive fine-tuning process. In this work, we introduce a Retrieval-augmented Visual Language Model, Re-ViLM, built upon the Flamingo, that supports retrieving the relevant knowledge from the external database for zero and in-context few-shot image-to-text generations. By storing certain knowledge explicitly in the external database, our approach reduces the number of model parameters and can easily accommodate new data during evaluation by simply updating the database. We also construct an interleaved image and text data that facilitates in-context few-shot learning capabilities. We demonstrate that Re-ViLM significantly boosts performance for image-to-text generation tasks, especially for zero-shot and few-shot generation in out-of-domain settings with 4 times less parameters compared with baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google