Research about the Ability of LLM in the Tamper-Detection Area

要約

近年、特に 2020 年代初頭以降、大規模言語モデル (LLM) は、自然言語処理からさまざまなドメインの複雑な問題解決に至るまで、さまざまな課題に対処するための最も強力な AI ツールとして台頭しています。
改ざん検出の分野では、LLM は基本的な改ざん活動を識別できます。より特殊なドメインで LLM の機能を評価するために、さまざまな企業が開発した 5 つの異なる LLM を収集しました: GPT-4、LLaMA、Bard、ERNIE Bot 4.0、
そしてトンイー・チェンウェン。
この多様なモデルにより、高度な改ざんインスタンスの検出におけるパフォーマンスの包括的な評価が可能になります。私たちは、AI 生成コンテンツ (AIGC) 検出と改ざん検出という 2 つの検出ドメインを考案しました。
AIGC 検出は、画像が本物なのか AI によって生成されたのかを区別する能力をテストすることを目的としています。
一方、改ざん検出は改ざんされた画像の特定に重点を置いています。
私たちの実験によると、ほとんどの LLM はロジックと矛盾する合成画像を識別できますが、より強力な LLM だけが論理的ではあるが人間の目に見える改ざんの兆候を識別できます。
すべての LLM は、慎重に偽造された画像や AI によって生成された非常にリアルな画像を識別できません。
改ざん検出の分野では、LLM にはまだ長い道のりがあり、特に高度に洗練された偽造物や現実を忠実に模倣した AI 生成画像を確実に識別するという点で顕著です。

要約(オリジナル)

In recent years, particularly since the early 2020s, Large Language Models (LLMs) have emerged as the most powerful AI tools in addressing a diverse range of challenges, from natural language processing to complex problem-solving in various domains. In the field of tamper detection, LLMs are capable of identifying basic tampering activities.To assess the capabilities of LLMs in more specialized domains, we have collected five different LLMs developed by various companies: GPT-4, LLaMA, Bard, ERNIE Bot 4.0, and Tongyi Qianwen. This diverse range of models allows for a comprehensive evaluation of their performance in detecting sophisticated tampering instances.We devised two domains of detection: AI-Generated Content (AIGC) detection and manipulation detection. AIGC detection aims to test the ability to distinguish whether an image is real or AI-generated. Manipulation detection, on the other hand, focuses on identifying tampered images. According to our experiments, most LLMs can identify composite pictures that are inconsistent with logic, and only more powerful LLMs can distinguish logical, but visible signs of tampering to the human eye. All of the LLMs can’t identify carefully forged images and very realistic images generated by AI. In the area of tamper detection, LLMs still have a long way to go, particularly in reliably identifying highly sophisticated forgeries and AI-generated images that closely mimic reality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google