VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

要約

ドメインの一般化性は、目に見えないドメインからのデータに対してモデルが適切に実行できるかどうかを決定するため、深層学習モデルの重要な側面です。
しかし、主に必要なデータセットが不足しているため、視覚言語タスクのための深層学習モデルの領域一般化可能性に関する研究は依然として限られています。
これらの課題に対処するために、私たちは VolDoGer: Vision-Language Dataset for Domain Generalization を提案します。これは、画像キャプション、視覚的な質問応答、および視覚的な含意という 3 つの視覚言語タスクに対処する、ドメインの一般化のために設計された専用のデータセットです。
私たちは、LLM ベースのデータ アノテーション技術を視覚言語タスクに拡張することによって VolDoGer を構築し、それによって人間のアノテーターを採用する負担を軽減しました。
VolDoGer を通じて、微調整モデルから最近のマルチモーダル大規模言語モデルに至るまで、さまざまなモデルのドメイン一般化可能性を評価しました。

要約(オリジナル)

Domain generalizability is a crucial aspect of a deep learning model since it determines the capability of the model to perform well on data from unseen domains. However, research on the domain generalizability of deep learning models for vision-language tasks remains limited, primarily because of the lack of required datasets. To address these challenges, we propose VolDoGer: Vision-Language Dataset for Domain Generalization, a dedicated dataset designed for domain generalization that addresses three vision-language tasks: image captioning, visual question answering, and visual entailment. We constructed VolDoGer by extending LLM-based data annotation techniques to vision-language tasks, thereby alleviating the burden of recruiting human annotators. We evaluated the domain generalizability of various models, ranging from fine-tuned models to a recent multimodal large language model, through VolDoGer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google