要約
画像偽造の検出とローカリゼーション(IFDL)は、鍛造された画像が私たちの日常生活に潜在的な脅威をもたらす誤った情報を広めることができるため、非常に重要です。
ただし、以前の方法は、実際のシナリオで多様な偽造操作で処理された偽造画像を効果的に処理するために依然として苦労していました。
このホワイトペーパーでは、IFDLタスクの新しい強化マルチテーカーの知識蒸留(RE-MTKD)フレームワークを提案します。これは、エンコーダデコダー\ textBf {c} onvnext- \ textbf {u} pernetを中心に構成されています。
まず、3つのキューネットモデルが、3つの主要なタイプの画像偽造、つまりコピームーブ、スプライシング、インペインティングのために個別にトレーニングされており、マルチテーカーモデルとして機能して、自己知識の蒸留を通じてキューネットでターゲットスチューデントモデルを訓練します。
強化された動的教師選択(RE-DTS)戦略が開発され、関係する教師モデルに重みを動的に割り当てることができます。これにより、特定の知識移転が容易になり、学生モデルが多様な改ざん痕跡の共通と特定の性質の両方を効果的に学習できます。
広範な実験は、他の最先端の方法と比較して、提案された方法が、さまざまな種類の画像偽造で構成されるいくつかの最近登場したデータセットで優れたパフォーマンスを達成することを示しています。
要約(オリジナル)
Image forgery detection and localization (IFDL) is of vital importance as forged images can spread misinformation that poses potential threats to our daily lives. However, previous methods still struggled to effectively handle forged images processed with diverse forgery operations in real-world scenarios. In this paper, we propose a novel Reinforced Multi-teacher Knowledge Distillation (Re-MTKD) framework for the IFDL task, structured around an encoder-decoder \textbf{C}onvNeXt-\textbf{U}perNet along with \textbf{E}dge-Aware Module, named Cue-Net. First, three Cue-Net models are separately trained for the three main types of image forgeries, i.e., copy-move, splicing, and inpainting, which then serve as the multi-teacher models to train the target student model with Cue-Net through self-knowledge distillation. A Reinforced Dynamic Teacher Selection (Re-DTS) strategy is developed to dynamically assign weights to the involved teacher models, which facilitates specific knowledge transfer and enables the student model to effectively learn both the common and specific natures of diverse tampering traces. Extensive experiments demonstrate that, compared with other state-of-the-art methods, the proposed method achieves superior performance on several recently emerged datasets comprised of various kinds of image forgeries.
arxiv情報
著者 | Zeqin Yu,Jiangqun Ni,Jian Zhang,Haoyi Deng,Yuzhen Lin |
発行日 | 2025-04-07 16:12:05+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google