SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model

要約

ビジョン言語モデル（VLM）の出現により、マルチモーダル情報の理解において前例のない進歩がもたらされました。
VLMSにおけるテキストと視覚のセマンティクスの組み合わせは非常に複雑で多様であるため、これらのモデルの安全性の整合性が困難です。
さらに、VLMSの安全アライメントに関する研究が限られているため、大規模で高品質のデータセットが不足しています。
これらの制限に対処するために、SPA-VLという名前のビジョン言語モデルの安全優先アライメントデータセットを提案します。
幅の観点から、SPA-VLは6つの有害ドメイン、13のカテゴリ、53のサブカテゴリをカバーし、100,788のサンプルの4倍（質問、画像、選択された応答、拒否応答）をカバーしています。
深さの観点から、応答は、多様性を確保するために、12のオープンソース（QWENVLなど）から収集されます。
優先データの構築は完全に自動化されており、実験結果は、SPA-VLデータセットのアライメント技術でトレーニングされたモデルが、コア機能を維持しながら無害と有用性の大幅な改善を示すことを示しています。
SPA-VLは、大規模で高品質で多様なデータセットとして、VLMが無害と有用性の両方を達成することを保証する上で重要なマイルストーンを表しています。

要約(オリジナル)

The emergence of Vision Language Models (VLMs) has brought unprecedented advances in understanding multimodal information. The combination of textual and visual semantics in VLMs is highly complex and diverse, making the safety alignment of these models challenging. Furthermore, due to the limited study on the safety alignment of VLMs, there is a lack of large-scale, high-quality datasets. To address these limitations, we propose a Safety Preference Alignment dataset for Vision Language Models named SPA-VL. In terms of breadth, SPA-VL covers 6 harmfulness domains, 13 categories, and 53 subcategories, and contains 100,788 samples of the quadruple (question, image, chosen response, rejected response). In terms of depth, the responses are collected from 12 open-source (e.g., QwenVL) and closed-source (e.g., Gemini) VLMs to ensure diversity. The construction of preference data is fully automated, and the experimental results indicate that models trained with alignment techniques on the SPA-VL dataset exhibit substantial improvements in harmlessness and helpfulness while maintaining core capabilities. SPA-VL, as a large-scale, high-quality, and diverse dataset, represents a significant milestone in ensuring that VLMs achieve both harmlessness and helpfulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google