Model Stitching and Visualization How GAN Generators can Invert Networks in Real-Time

要約

この研究では、1×1 畳み込みを利用した GAN ジェネレーターで分類ネットワークとセマンティック セグメンテーション ネットワークを結合することにより、ネットワークのアクティベーションを再構築する高速かつ正確な方法を提案します。
私たちは、AFHQ 野生データセット、ImageNet1K からの動物の画像、および染色された組織サンプルの現実世界のデジタル病理学スキャンでアプローチをテストします。
私たちの結果は、確立された勾配降下法と同等のパフォーマンスを示していますが、処理時間は 2 桁速く、このアプローチは実用的なアプリケーションとして有望です。

要約(オリジナル)

In this work, we propose a fast and accurate method to reconstruct activations of classification and semantic segmentation networks by stitching them with a GAN generator utilizing a 1×1 convolution. We test our approach on images of animals from the AFHQ wild dataset, ImageNet1K, and real-world digital pathology scans of stained tissue samples. Our results show comparable performance to established gradient descent methods but with a processing time that is two orders of magnitude faster, making this approach promising for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google