Dual Stream Computer-Generated Image Detection Network Based On Channel Joint And Softpool

要約

コンピュータグラフィックス技術の発展に伴い、コンピュータソフトウェアによって合成された画像はますます写真に近づいています。
コンピュータグラフィックス技術は、ゲームや映画の分野で私たちに壮大な視覚的饗宴をもたらしますが、世論を導き、政治危機や社会不安を引き起こす悪意のある人によっても利用される可能性があります。
したがって、コンピュータで生成されたグラフィックス（CG）と写真（PG）をどのように区別するかは、デジタル画像フォレンジックの分野で重要なトピックになっています。
この論文は、チャネルジョイントとソフトプールに基づくデュアルストリーム畳み込みニューラルネットワークを提案します。
提案されたネットワークアーキテクチャは、画像ノイズ情報を抽出するための残差モジュールと、画像の浅い意味情報をキャプチャするための共同チャネル情報抽出モジュールを含む。
さらに、特徴抽出を強化し、残差フローでの情報の損失を減らすために、残差構造も設計します。
共同チャネル情報抽出モジュールは、残差モジュールの情報補足ブロックとして使用できる入力画像の浅い意味情報を取得することができます。
ネットワーク全体がSoftPoolを使用して、画像のダウンサンプリングによる情報の損失を減らします。
最後に、2つのフローを融合して、分類結果を取得します。
SPL2018とDsTokでの実験は、提案された方法が、特にDsTokデータセットで、既存の方法よりも優れていることを示しています。
たとえば、私たちのモデルのパフォーマンスは、最先端技術を3％も大幅に上回っています。

要約(オリジナル)

With the development of computer graphics technology, the images synthesized by computer software become more and more closer to the photographs. While computer graphics technology brings us a grand visual feast in the field of games and movies, it may also be utilized by someone with bad intentions to guide public opinions and cause political crisis or social unrest. Therefore, how to distinguish the computer-generated graphics (CG) from the photographs (PG) has become an important topic in the field of digital image forensics. This paper proposes a dual stream convolutional neural network based on channel joint and softpool. The proposed network architecture includes a residual module for extracting image noise information and a joint channel information extraction module for capturing the shallow semantic information of image. In addition, we also design a residual structure to enhance feature extraction and reduce the loss of information in residual flow. The joint channel information extraction module can obtain the shallow semantic information of the input image which can be used as the information supplement block of the residual module. The whole network uses SoftPool to reduce the information loss of down-sampling for image. Finally, we fuse the two flows to get the classification results. Experiments on SPL2018 and DsTok show that the proposed method outperforms existing methods, especially on the DsTok dataset. For example, the performance of our model surpasses the state-of-the-art by a large margin of 3%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google