Llama Guard 3 Vision: Safeguarding Human-AI Image Understanding Conversations

要約

画像理解を伴う人間と AI の会話のためのマルチモーダル LLM ベースの保護機能である Llama Guard 3 Vision を紹介します。これは、マルチモーダル LLM 入力 (プロンプト分類) と出力 (応答分類) の両方のコンテンツを保護するために使用できます。
以前のテキストのみの Llama Guard バージョン (Inan et al., 2023; Llama Team, 2024b,a) とは異なり、特に画像推論のユースケースをサポートするように設計されており、有害なマルチモーダル (テキストと画像) プロンプトとテキストを検出するように最適化されています。
これらのプロンプトに対する応答。
Llama Guard 3 Vision は Llama 3.2-Vision で微調整されており、MLCommons 分類法を使用した内部ベンチマークで優れたパフォーマンスを示しています。
また、敵対的な攻撃に対する堅牢性もテストします。
私たちは、Llama Guard 3 Vision が、マルチモーダル機能を備えた人間と AI の会話のための、より高機能で堅牢なコンテンツ モデレーション ツールを構築するための良い出発点として機能すると信じています。

要約(オリジナル)

We introduce Llama Guard 3 Vision, a multimodal LLM-based safeguard for human-AI conversations that involves image understanding: it can be used to safeguard content for both multimodal LLM inputs (prompt classification) and outputs (response classification). Unlike the previous text-only Llama Guard versions (Inan et al., 2023; Llama Team, 2024b,a), it is specifically designed to support image reasoning use cases and is optimized to detect harmful multimodal (text and image) prompts and text responses to these prompts. Llama Guard 3 Vision is fine-tuned on Llama 3.2-Vision and demonstrates strong performance on the internal benchmarks using the MLCommons taxonomy. We also test its robustness against adversarial attacks. We believe that Llama Guard 3 Vision serves as a good starting point to build more capable and robust content moderation tools for human-AI conversation with multimodal capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google