MAGIC: Mask-Guided Image Synthesis by Inverting a Quasi-Robust Classifier

要約

強力な正則化器を備えた準ロバスト分類器を反転することにより、単一の画像の操作を制御できるワンショット画像合成の方法を提供します。
私たちが提案した Magic という名前の方法は、事前トレーニング済みの準ロバスト分類器から構造化勾配をサンプリングして、分類精度を維持しながら入力セマンティクスをより適切に維持することで、合成の信頼性を保証します。
複雑なプリミティブを使用してプロセスを監視したり、アテンション マップを弱い監視信号として使用したりする現在の方法とは異なり、Magic は、強力な空間事前分布を強制するガイド バイナリ マスクによって駆動される、入力に対する勾配を集約します。
Magic は、単一のフレームワークを使用して一連の操作を実装し、形状と位置の制御、強力な非剛体形状の変形、反復オブジェクトの存在下でのコピー/移動操作を実現し、ユーザーはバイナリ ガイド マスクを指定するだけで合成を確実に制御できます。
私たちの研究と調査結果は、ImageNet からサンプリングされた同じ画像の最新技術とのさまざまな定性的な比較、および機械認識を使用した定量分析と、合成品質を支持する 100 人以上の参加者のユーザー調査によって裏付けられています。

要約(オリジナル)

We offer a method for one-shot image synthesis that allows controlling manipulations of a single image by inverting a quasi-robust classifier equipped with strong regularizers. Our proposed method, entitled Magic, samples structured gradients from a pre-trained quasi-robust classifier to better preserve the input semantics while preserving its classification accuracy, thereby guaranteeing credibility in the synthesis. Unlike current methods that use complex primitives to supervise the process or use attention maps as a weak supervisory signal, Magic aggregates gradients over the input, driven by a guide binary mask that enforces a strong, spatial prior. Magic implements a series of manipulations with a single framework achieving shape and location control, intense non-rigid shape deformations, and copy/move operations in the presence of repeating objects and gives users firm control over the synthesis by requiring simply specifying binary guide masks. Our study and findings are supported by various qualitative comparisons with the state-of-the-art on the same images sampled from ImageNet and quantitative analysis using machine perception along with a user survey of 100+ participants that endorse our synthesis quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google