Disharmony: Forensics using Reverse Lighting Harmonization

要約

深層学習手法に基づくコンテンツの生成と操作のアプローチは大幅に進歩しており、画像が生成されたのか編集されたのかを検出する技術の必要性が高まっています。
別の研究分野は、画像内へのオブジェクトの挿入と調和に焦点を当てています。
この研究では、編集された画像領域の検出を強化するために、セグメンテーション モデルと組み合わせて調和データを使用する可能性を探ります。
これらの編集は手動で作成することも、深層学習手法を使用して生成することもできます。
私たちの調査結果は、このアプローチがそのような編集を効果的に特定できることを示しています。
既存のフォレンジック モデルでは、背景との関係で調和したオブジェクトの検出が見落とされることがよくありますが、私たちが提案する Disharmony Network はこのギャップに対処します。
調和化技術の集約されたデータセットを利用することにより、私たちのモデルは、背景に統合された調和化されたオブジェクトの識別において既存のフォレンジック ネットワークよりも優れた性能を発揮し、仮想試着タスクを含むさまざまな形式の編集を検出できる可能性を示しています。

要約(オリジナル)

Content generation and manipulation approaches based on deep learning methods have seen significant advancements, leading to an increased need for techniques to detect whether an image has been generated or edited. Another area of research focuses on the insertion and harmonization of objects within images. In this study, we explore the potential of using harmonization data in conjunction with a segmentation model to enhance the detection of edited image regions. These edits can be either manually crafted or generated using deep learning methods. Our findings demonstrate that this approach can effectively identify such edits. Existing forensic models often overlook the detection of harmonized objects in relation to the background, but our proposed Disharmony Network addresses this gap. By utilizing an aggregated dataset of harmonization techniques, our model outperforms existing forensic networks in identifying harmonized objects integrated into their backgrounds, and shows potential for detecting various forms of edits, including virtual try-on tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google