Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images

要約

私たちは、StyleGAN によって生成された合成画像の自動ワンショット セグメンテーションのためのフレームワークを提案します。
私たちのフレームワークは、GAN ジェネレーターのマルチスケールの隠れた特徴が、生成された画像の自動オンザフライ セグメンテーションに利用できる有用なセマンティック情報を保持しているという観察に基づいています。
これらの機能を使用して、私たちのフレームワークは、隠れた特徴をピクセルごとの分類のためにコンパクトな空間に投影する自己監視型コントラスト クラスタリング アルゴリズムを使用して合成画像をセグメント化することを学習します。
この対照的な学習器は、新しいデータ拡張戦略と、ワンショット セグメンテーションの特徴ベクトルの学習を高速化するピクセルごとのスワップ予測損失の使用に基づいています。
5 つの標準ベンチマークで実装をテストした結果、半教師ありベースラインを平均 1.02 % の wIoU マージンで上回るセグメンテーション パフォーマンスが得られただけでなく、推論速度も 4.5 倍向上しました。
最後に、脅威検出用の注釈付き合成手荷物 X 線スキャンを生成するフレームワークである BagGAN の実装において、提案されたワンショット学習器を使用した結果も示します。
このフレームワークは、PIDRay 手荷物ベンチマークでトレーニングおよびテストされ、手動の注釈に基づくベースライン セグメンターと同等のパフォーマンスを実現しました。

要約(オリジナル)

We propose a framework for the automatic one-shot segmentation of synthetic images generated by a StyleGAN. Our framework is based on the observation that the multi-scale hidden features in the GAN generator hold useful semantic information that can be utilized for automatic on-the-fly segmentation of the generated images. Using these features, our framework learns to segment synthetic images using a self-supervised contrastive clustering algorithm that projects the hidden features into a compact space for per-pixel classification. This contrastive learner is based on using a novel data augmentation strategy and a pixel-wise swapped prediction loss that leads to faster learning of the feature vectors for one-shot segmentation. We have tested our implementation on five standard benchmarks to yield a segmentation performance that not only outperforms the semi-supervised baselines by an average wIoU margin of 1.02 % but also improves the inference speeds by a factor of 4.5. Finally, we also show the results of using the proposed one-shot learner in implementing BagGAN, a framework for producing annotated synthetic baggage X-ray scans for threat detection. This framework was trained and tested on the PIDRay baggage benchmark to yield a performance comparable to its baseline segmenter based on manual annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google