M3Dsynth: A dataset of medical 3D images with AI-generated local manipulations

要約

画像合成方法の急速な進歩を考慮すると、操作されたビジュアル コンテンツを検出する機能は、多くのアプリケーション分野でますます重要になってきています。
特に懸念されるのは、医療画像の内容が変更され、結果として得られる診断が変更される可能性です。
関連性があるにもかかわらず、この問題は研究コミュニティからの注目が限られています。
理由の 1 つは、開発やベンチマークの目的で使用できる、厳選された大規模なデータセットが不足していることです。
ここでは、この問題を調査し、操作されたコンピューター断層撮影 (CT) 肺画像の大規模なデータセットである M3Dsynth を提案します。
当社では、敵対的生成ネットワーク (GAN) または拡散モデル (DM) に基づく 3 つの異なる方法を使用して、実際の CT スキャンで肺がん結節を注入または除去することにより、合計 8,577 個の操作サンプルに対して操作画像を作成します。
実験によると、これらの画像は自動診断ツールを簡単に騙すことができます。
また、いくつかの最先端のフォレンジック検出器をテストし、提案されたデータセットでトレーニングすると、トレーニング セットとテスト セットが一致していない場合でも、操作された合成コンテンツを正確に検出して位置特定できることを実証し、優れた一般化能力を示しました。
。
データセットとコードは https://grip-unina.github.io/M3Dsynth/ で公開されています。

要約(オリジナル)

The ability to detect manipulated visual content is becoming increasingly important in many application fields, given the rapid advances in image synthesis methods. Of particular concern is the possibility of modifying the content of medical images, altering the resulting diagnoses. Despite its relevance, this issue has received limited attention from the research community. One reason is the lack of large and curated datasets to use for development and benchmarking purposes. Here, we investigate this issue and propose M3Dsynth, a large dataset of manipulated Computed Tomography (CT) lung images. We create manipulated images by injecting or removing lung cancer nodules in real CT scans, using three different methods based on Generative Adversarial Networks (GAN) or Diffusion Models (DM), for a total of 8,577 manipulated samples. Experiments show that these images easily fool automated diagnostic tools. We also tested several state-of-the-art forensic detectors and demonstrated that, once trained on the proposed dataset, they are able to accurately detect and localize manipulated synthetic content, even when training and test sets are not aligned, showing good generalization ability. Dataset and code are publicly available at https://grip-unina.github.io/M3Dsynth/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google