Violet: A Vision-Language Model for Arabic Image Captioning with Gemini Decoder

要約

画像キャプションには幅広い用途がありますが、英語以外の言語ではその可能性を最大限に発揮できていません。
たとえば、アラビア語は 4 億人以上の人々の母国語であるにもかかわらず、この地域では依然として過小評価されています。
これは、ラベル付きデータと強力なアラビア語生成モデルが不足しているためです。
私たちは、\textit{Violet} と呼ばれる、アラビア語専用の新しい視覚言語モデルを提示することで、この問題を軽減します。
私たちのモデルは、ビジョン エンコーダーと Gemini テキスト デコーダーに基づいており、ビジョンと言語コンポーネント間の融合を可能にしながら、生成の流暢性を維持します。
モデルをトレーニングするために、利用可能な英語のデータセットからデータを自動的に取得する新しい方法を導入します。
また、評価用に新しいデータセットを手動で準備します。
\textit{Violet} は、すべての評価データセットでベースラインよりも大幅に優れたパフォーマンスを示しています。
たとえば、手動でアノテーションを付けたデータセットでは $61.2$ の CIDEr スコアに達し、Flickr8k では $13$ ポイントの改善を達成しました。

要約(オリジナル)

Although image captioning has a vast array of applications, it has not reached its full potential in languages other than English. Arabic, for instance, although the native language of more than 400 million people, remains largely underrepresented in this area. This is due to the lack of labeled data and powerful Arabic generative models. We alleviate this issue by presenting a novel vision-language model dedicated to Arabic, dubbed \textit{Violet}. Our model is based on a vision encoder and a Gemini text decoder that maintains generation fluency while allowing fusion between the vision and language components. To train our model, we introduce a new method for automatically acquiring data from available English datasets. We also manually prepare a new dataset for evaluation. \textit{Violet} performs sizeably better than our baselines on all of our evaluation datasets. For example, it reaches a CIDEr score of $61.2$ on our manually annotated dataset and achieves an improvement of $13$ points on Flickr8k.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google