Red Teaming Visual Language Models

要約

VLM (ビジョン言語モデル) は、マルチモーダル入力を受け入れるために LLM (大規模言語モデル) の機能を拡張します。
特定のテスト ケース (レッド チーミングと呼ばれる) を通じて、LLM が有害なコンテンツや不正確なコンテンツを生成するように誘導される可能性があることが確認されているため、VLM が同様のシナリオ、特にテキスト入力とビジュアル入力の組み合わせでどのように機能するかは依然として疑問です。
この問題を調査するために、我々は、4 つの主要な側面 (誠実さ、プライバシー、安全性、公平性) の下で 10 のサブタスク (画像の誤解を招く、マルチモーダル脱獄、顔の公平性など) を包含する新しいレッド チーミング データセット RTVLM を提示します。
当社の RTVLM は、これら 4 つの異なる側面に関して現在の VLM をベンチマークする最初のレッドチーム データセットです。
詳細な分析によると、10 の著名なオープンソース VLM がさまざまな程度でレッド チームと格闘しており、GPT-4V とのパフォーマンスに最大 31% の差があることがわかりました。
さらに、RTVLM を使用した教師付きファインチューニング (SFT) でレッド チーミング アライメントを LLaVA-v1.5 に適用するだけで、モデルのパフォーマンスが RTVLM テスト セットで 10%、MM-Hal で 13% 向上し、目立った影響はありません。
MM-Bench の減少により、通常のアライメント データを備えた他の LLaVA ベースのモデルを上回りました。
これは、現在のオープンソース VLM がまだレッド チームの調整に欠けていることを明らかにしています。
私たちのコードとデータセットはオープンソースになります。

要約(オリジナル)

VLMs (Vision-Language Models) extend the capabilities of LLMs (Large Language Models) to accept multimodal inputs. Since it has been verified that LLMs can be induced to generate harmful or inaccurate content through specific test cases (termed as Red Teaming), how VLMs perform in similar scenarios, especially with their combination of textual and visual inputs, remains a question. To explore this problem, we present a novel red teaming dataset RTVLM, which encompasses 10 subtasks (e.g., image misleading, multi-modal jail-breaking, face fairness, etc) under 4 primary aspects (faithfulness, privacy, safety, fairness). Our RTVLM is the first red-teaming dataset to benchmark current VLMs in terms of these 4 different aspects. Detailed analysis shows that 10 prominent open-sourced VLMs struggle with the red teaming in different degrees and have up to 31% performance gap with GPT-4V. Additionally, we simply apply red teaming alignment to LLaVA-v1.5 with Supervised Fine-tuning (SFT) using RTVLM, and this bolsters the models’ performance with 10% in RTVLM test set, 13% in MM-Hal, and without noticeable decline in MM-Bench, overpassing other LLaVA-based models with regular alignment data. This reveals that current open-sourced VLMs still lack red teaming alignment. Our code and datasets will be open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google