Robustness-Guided Image Synthesis for Data-Free Quantization

要約

量子化は、モデル圧縮の有望な方向として浮上しています。
最近、実際のトレーニング データの代わりに画像を合成するデータフリー量子化が、プライバシーの問題を回避する有望な方法として広く研究されています。
既存の方法では、分類損失を使用して合成画像の信頼性を確保しています。
残念ながら、たとえこれらの画像が事前トレーニングされたモデルによって適切に分類されていたとしても、依然としてセマンティクスの低下と均質化の問題が発生します。
直感的には、これらのセマンティクスの低い画像は摂動の影響を受けやすく、ジェネレーターがセマンティクスの低い画像を合成すると、事前トレーニングされたモデルの出力が一貫性を持たなくなる傾向があります。
この目的を達成するために、私たちは、合成画像のセマンティクスを強化し、画像の多様性を改善し、ダウンストリームのデータフリー圧縮タスクのパフォーマンスをさらに高めるためのシンプルだが効果的な方法であるロバストネス誘導画像合成 (RIS) を提案します。
具体的には、まず入力とモデルの重みに摂動を導入し、次に摂動の前後の特徴レベルと予測レベルでの不一致メトリクスを定義します。
2 つのレベルの不一致に基づいて、合成画像のセマンティクスを強化するロバスト性最適化目標を設計します。
さらに、ラベル空間内で相関が小さい画像をジェネレーターに強制的に合成することで、アプローチを多様性に対応させます。
RIS を使用すると、データフリー量子化のさまざまな設定で最先端のパフォーマンスを実現し、他のデータフリー圧縮タスクにも拡張できます。

要約(オリジナル)

Quantization has emerged as a promising direction for model compression. Recently, data-free quantization has been widely studied as a promising method to avoid privacy concerns, which synthesizes images as an alternative to real training data. Existing methods use classification loss to ensure the reliability of the synthesized images. Unfortunately, even if these images are well-classified by the pre-trained model, they still suffer from low semantics and homogenization issues. Intuitively, these low-semantic images are sensitive to perturbations, and the pre-trained model tends to have inconsistent output when the generator synthesizes an image with poor semantics. To this end, we propose Robustness-Guided Image Synthesis (RIS), a simple but effective method to enrich the semantics of synthetic images and improve image diversity, further boosting the performance of downstream data-free compression tasks. Concretely, we first introduce perturbations on input and model weight, then define the inconsistency metrics at feature and prediction levels before and after perturbations. On the basis of inconsistency on two levels, we design a robustness optimization objective to enhance the semantics of synthetic images. Moreover, we also make our approach diversity-aware by forcing the generator to synthesize images with small correlations in the label space. With RIS, we achieve state-of-the-art performance for various settings on data-free quantization and can be extended to other data-free compression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google