MAGIC: Mask-Guided Image Synthesis by Inverting a Quasi-Robust Classifier

要約

私たちは、強力な正則化機能を備えた準堅牢な分類器を反転することで単一画像の操作を制御できるワンショットのマスクガイド画像合成手法を提供します。
MAGIC と題された私たちの提案手法は、事前にトレーニングされた準ロバストな分類器からの構造化勾配を利用して、分類精度を維持しながら入力セマンティクスをより適切に保存し、それによって合成の信頼性を保証します。
プロセスを監視するために複雑なプリミティブを使用したり、弱い監視信号としてアテンション マップを使用したりする現在の方法とは異なり、MAGIC は、強力な空間事前分布を強制するガイド バイナリ マスクによって駆動される、入力上の勾配を集約します。
MAGIC は、形状と位置の制御、激しい非剛体形状の変形、繰り返しオブジェクトが存在する場合のコピー/移動操作を実現する単一のフレームワークで一連の操作を実装し、ユーザーはバイナリ ガイド マスクを指定するだけで合成をしっかりと制御できます。
。
私たちの調査と結果は、ImageNet からサンプリングされた同じ画像に関する最先端技術とのさまざまな定性的比較と、機械認識を使用した定量的分析、および当社の合成品質を支持する 100 人以上の参加者を対象としたユーザー調査によって裏付けられています。
プロジェクトページは https://mozhdehrouhsedaghat.github.io/magic.html にあります。
コードは https://github.com/mozhdehrouhsedaghat/magic で入手できます。

要約(オリジナル)

We offer a method for one-shot mask-guided image synthesis that allows controlling manipulations of a single image by inverting a quasi-robust classifier equipped with strong regularizers. Our proposed method, entitled MAGIC, leverages structured gradients from a pre-trained quasi-robust classifier to better preserve the input semantics while preserving its classification accuracy, thereby guaranteeing credibility in the synthesis. Unlike current methods that use complex primitives to supervise the process or use attention maps as a weak supervisory signal, MAGIC aggregates gradients over the input, driven by a guide binary mask that enforces a strong, spatial prior. MAGIC implements a series of manipulations with a single framework achieving shape and location control, intense non-rigid shape deformations, and copy/move operations in the presence of repeating objects and gives users firm control over the synthesis by requiring to simply specify binary guide masks. Our study and findings are supported by various qualitative comparisons with the state-of-the-art on the same images sampled from ImageNet and quantitative analysis using machine perception along with a user survey of 100+ participants that endorse our synthesis quality. Project page at https://mozhdehrouhsedaghat.github.io/magic.html. Code is available at https://github.com/mozhdehrouhsedaghat/magic

arxiv情報

提供元, 利用サービス

arxiv.jp, Google