ArtFID: Quantitative Evaluation of Neural Style Transfer

要約

ニューラルスタイル転送の分野では、最適化ベースのアプローチやフィードフォワードモデルからメタ学習手法に至るまで、さまざまな方法を模索する研究が急増しています。
開発された技術は、スタイル転送の分野を進歩させただけでなく、すべての視覚合成など、コンピュータビジョンの他の分野でのブレークスルーにもつながりました。
ただし、定量的評価とベンチマークがコンピュータビジョン研究の柱になっている一方で、スタイル転送モデルの再現性のある定量的評価はまだ不足しています。
広く使用されているメトリックが存在する視覚合成の他の分野と比較しても、スタイル転送の定量的評価はまだ遅れています。
さまざまなスタイルの転送アプローチの自動比較をサポートし、それぞれの長所と短所を研究するために、この分野では、様式化のパフォーマンスを定量的に測定することで大きなメリットが得られます。
したがって、現在ほとんど定性的な評価スキームを補完する方法を提案します。
提案されたメトリックが人間の判断と強く一致することを示すために、広範な評価と大規模なユーザー調査を提供します。

要約(オリジナル)

The field of neural style transfer has experienced a surge of research exploring different avenues ranging from optimization-based approaches and feed-forward models to meta-learning methods. The developed techniques have not just progressed the field of style transfer, but also led to breakthroughs in other areas of computer vision, such as all of visual synthesis. However, whereas quantitative evaluation and benchmarking have become pillars of computer vision research, the reproducible, quantitative assessment of style transfer models is still lacking. Even in comparison to other fields of visual synthesis, where widely used metrics exist, the quantitative evaluation of style transfer is still lagging behind. To support the automatic comparison of different style transfer approaches and to study their respective strengths and weaknesses, the field would greatly benefit from a quantitative measurement of stylization performance. Therefore, we propose a method to complement the currently mostly qualitative evaluation schemes. We provide extensive evaluations and a large-scale user study to show that the proposed metric strongly coincides with human judgment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google