EVADE: Multimodal Benchmark for Evasive Content Detection in E-Commerce Applications

要約

eコマースプラットフォームは、違法または誤解を招く製品コンテンツを検出するために、大規模な言語モデル(LLMS)およびビジョン言語モデル(VLM)にますます依存しています。
ただし、これらのモデルは回避的なコンテンツに対して脆弱なままです。入力(テキストまたは画像)は、表面的にプラットフォームポリシーに準拠し、禁止された主張を密かに伝えます。
明白な障害を引き起こす伝統的な敵対的な攻撃とは異なり、回避的なコンテンツは曖昧さと文脈を活用し、検出がはるかに難しくなります。
既存の堅牢性ベンチマークは、この要求の厳しい現実世界の課題に対するガイダンスをほとんど提供しません。
eコマースでの回避コンテンツ検出に関する基礎モデルを評価するために特別に設計された最初の専門家である中国語のマルチモーダルベンチマークであるEvadeを紹介します。
データセットには、2,833の注釈付きテキストサンプルと、ボディーシェーピング、高さの成長、健康サプリメントなど、6つの厳しい製品カテゴリにまたがる13,961の画像が含まれています。
2つの補完的なタスクは、明確な能力を評価します。単一溶解は、短いプロンプトの下で細粒の推論を調査し、オールインワンは、重複するポリシールールを統一された命令に統合することにより、長いコンテキスト推論をテストします。
特に、オールインワンの設定は、部分的な精度とフルマッチの精度の間のパフォーマンスギャップを大幅に狭め、より明確なルール定義が人間とモデルの判断とモデルの判断の調整を改善することを示唆しています。
26の主流LLMとVLMSをベンチマークし、実質的なパフォーマンスギャップを観察します。最先端のモデルでさえ、回避サンプルを頻繁に誤分類します。
回避と強力なベースラインを解放することにより、回避コンテンツ検出を評価するための最初の厳密な基準を提供し、現在のマルチモーダル推論の基本的な制限を公開し、eコマースのより安全で透明なコンテンツモデレーションシステムの基礎を築きます。
データセットは、https://huggingface.co/datasets/koenshen/evade-benchで公開されています。

要約(オリジナル)

E-commerce platforms increasingly rely on Large Language Models (LLMs) and Vision-Language Models (VLMs) to detect illicit or misleading product content. However, these models remain vulnerable to evasive content: inputs (text or images) that superficially comply with platform policies while covertly conveying prohibited claims. Unlike traditional adversarial attacks that induce overt failures, evasive content exploits ambiguity and context, making it far harder to detect. Existing robustness benchmarks provide little guidance for this demanding, real-world challenge. We introduce EVADE, the first expert-curated, Chinese, multimodal benchmark specifically designed to evaluate foundation models on evasive content detection in e-commerce. The dataset contains 2,833 annotated text samples and 13,961 images spanning six demanding product categories, including body shaping, height growth, and health supplements. Two complementary tasks assess distinct capabilities: Single-Violation, which probes fine-grained reasoning under short prompts, and All-in-One, which tests long-context reasoning by merging overlapping policy rules into unified instructions. Notably, the All-in-One setting significantly narrows the performance gap between partial and full-match accuracy, suggesting that clearer rule definitions improve alignment between human and model judgment. We benchmark 26 mainstream LLMs and VLMs and observe substantial performance gaps: even state-of-the-art models frequently misclassify evasive samples. By releasing EVADE and strong baselines, we provide the first rigorous standard for evaluating evasive-content detection, expose fundamental limitations in current multimodal reasoning, and lay the groundwork for safer and more transparent content moderation systems in e-commerce. The dataset is publicly available at https://huggingface.co/datasets/koenshen/EVADE-Bench.

arxiv情報

著者 Ancheng Xu,Zhihao Yang,Jingpeng Li,Guanghu Yuan,Longze Chen,Liang Yan,Jiehui Zhou,Zhen Qin,Hengyun Chang,Hamid Alinejad-Rokny,Bo Zheng,Min Yang
発行日 2025-06-09 12:54:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク