Multi-task convolutional neural network for image aesthetic assessment

要約

人々の画像に対する美的好みは理解されていないため、画像の美的評価は人工知能の難しい課題です。
このタスクの基礎となる要素の範囲はほぼ無制限ですが、いくつかの美的属性がそれらの好みに影響を与えることがわかっています。
この研究では、これらの属性を考慮したマルチタスク畳み込みニューラル ネットワークを紹介します。
提案されたニューラル ネットワークは、画像の全体的な美的スコアとともに属性を共同学習します。
このマルチタスク学習フレームワークにより、共有表現の利用を通じて効果的な一般化が可能になります。
私たちの実験は、提案された方法が、画像の美学の 1 つのベンチマークにおける画像の全体的な美的スコアの予測において、最先端のアプローチよりも優れていることを示しています。
スピアマンのランク相関を考慮すると、全体的な美的スコアの点で人間に近いパフォーマンスを達成できます。
さらに、私たちのモデルは別のベンチマークにおけるマルチタスクの応用の先駆者であり、将来の研究の新しいベースラインとして機能します。
特に、私たちのアプローチは、文献にある既存のマルチタスク ニューラル ネットワークと比較してより少ないパラメーターを使用しながらこのパフォーマンスを達成し、その結果、計算の複雑さの点で私たちの方法がより効率的になります。

要約(オリジナル)

As people’s aesthetic preferences for images are far from understood, image aesthetic assessment is a challenging artificial intelligence task. The range of factors underlying this task is almost unlimited, but we know that some aesthetic attributes affect those preferences. In this study, we present a multi-task convolutional neural network that takes into account these attributes. The proposed neural network jointly learns the attributes along with the overall aesthetic scores of images. This multi-task learning framework allows for effective generalization through the utilization of shared representations. Our experiments demonstrate that the proposed method outperforms the state-of-the-art approaches in predicting overall aesthetic scores for images in one benchmark of image aesthetics. We achieve near-human performance in terms of overall aesthetic scores when considering the Spearman’s rank correlations. Moreover, our model pioneers the application of multi-tasking in another benchmark, serving as a new baseline for future research. Notably, our approach achieves this performance while using fewer parameters compared to existing multi-task neural networks in the literature, and consequently makes our method more efficient in terms of computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google