Multispectral Texture Synthesis using RGB Convolutional Neural Networks

要約

最先端の RGB テクスチャ合成アルゴリズムは、深い特徴の統計を通じて計算されるスタイル距離に依存しています。
これらの深い特徴は、RGB 画像の大規模なデータセットでトレーニングされた分類ニューラル ネットワークによって抽出されます。
事前トレーニングされたネットワークは RGB 画像用に設計されており、RGB 画像でトレーニングされているため、このような合成方法をマルチスペクトル画像に拡張することは簡単ではありません。
この研究では、これらの方法をマルチスペクトル イメージングに拡張する 2 つのソリューションを提案します。
どちらも、二次ニューラル統計が抽出されるニューラル ネットワークの追加のトレーニングを必要としません。
1 つ目は、トレーニング全体を通じてスペクトル バンドのランダムな 3 つのバッチを最適化することで構成されます。
2 つ目は、マルチスペクトル ピクセルを 3 次元空間に投影します。
さらに、投影によって引き起こされる潜在的な異常な色分布を回避するために、投影の上流でカラー転送操作を行う利点を調査します。
私たちの実験では、さまざまなメトリクスを通じてさまざまな方法のパフォーマンスを比較します。
これらを使用して見本ベースのテクスチャ合成を実行し、良好な視覚品質を達成し、RGB バンドで最先端の方法に近づくことができることを実証します。

要約(オリジナル)

State-of-the-art RGB texture synthesis algorithms rely on style distances that are computed through statistics of deep features. These deep features are extracted by classification neural networks that have been trained on large datasets of RGB images. Extending such synthesis methods to multispectral images is not straightforward, since the pre-trained networks are designed for and have been trained on RGB images. In this work, we propose two solutions to extend these methods to multispectral imaging. Neither of them require additional training of the neural network from which the second order neural statistics are extracted. The first one consists in optimizing over batches of random triplets of spectral bands throughout training. The second one projects multispectral pixels onto a 3 dimensional space. We further explore the benefit of a color transfer operation upstream of the projection to avoid the potentially abnormal color distributions induced by the projection. Our experiments compare the performances of the various methods through different metrics. We demonstrate that they can be used to perform exemplar-based texture synthesis, achieve good visual quality and comes close to state-of-the art methods on RGB bands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google