T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models

要約

Sora の最近の開発は、テキストからビデオへの (T2V) 世代の新時代をもたらします。
これに伴い、セキュリティリスクに対する懸念も高まっています。
生成されたビデオには違法または非倫理的なコンテンツが含まれている可能性があり、その安全性についての包括的な定量的理解が不足しているため、その信頼性と実際の展開に課題が生じています。
これまでの評価は主にビデオ生成の品質に焦点を当てていました。
テキストから画像へのモデルの一部の評価では安全性が考慮されていますが、カバーされている側面は少なく、ビデオ生成に固有の固有の時間的リスクには対処していません。
この研究ギャップを埋めるために、テキストからビデオへのモデルの安全性が重要な評価を行うために設計された新しいベンチマークである T2VSafetyBench を紹介します。
ビデオ生成の安全性に関する 12 の重要な側面を定義し、LLM とジェイルブレイク プロンプト攻撃を使用して悪意のあるプロンプト データセットを構築します。
評価結果に基づいて、次のようないくつかの重要な発見が得られました。 1) 単一のモデルがすべての面で優れているということはなく、さまざまなモデルがさまざまな長所を示しています。
2) GPT-4 評価と手動レビューとの相関関係は一般に高い。
3) テキストからビデオへの生成モデルの使いやすさと安全性の間にはトレードオフの関係があります。
これは、ビデオ生成の分野が急速に進歩するにつれて、安全性のリスクが急増することを示しており、ビデオの安全性を優先することが緊急であることが浮き彫りになっています。
T2VSafetyBench が、生成 AI 時代におけるビデオ生成の安全性をより深く理解するための洞察を提供できることを願っています。

要約(オリジナル)

The recent development of Sora leads to a new era in text-to-video (T2V) generation. Along with this comes the rising concern about its security risks. The generated videos may contain illegal or unethical content, and there is a lack of comprehensive quantitative understanding of their safety, posing a challenge to their reliability and practical deployment. Previous evaluations primarily focus on the quality of video generation. While some evaluations of text-to-image models have considered safety, they cover fewer aspects and do not address the unique temporal risk inherent in video generation. To bridge this research gap, we introduce T2VSafetyBench, a new benchmark designed for conducting safety-critical assessments of text-to-video models. We define 12 critical aspects of video generation safety and construct a malicious prompt dataset using LLMs and jailbreaking prompt attacks. Based on our evaluation results, we draw several important findings, including: 1) no single model excels in all aspects, with different models showing various strengths; 2) the correlation between GPT-4 assessments and manual reviews is generally high; 3) there is a trade-off between the usability and safety of text-to-video generative models. This indicates that as the field of video generation rapidly advances, safety risks are set to surge, highlighting the urgency of prioritizing video safety. We hope that T2VSafetyBench can provide insights for better understanding the safety of video generation in the era of generative AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google