An Experience-based Direct Generation approach to Automatic Image Cropping

要約

自動画像クロッピングは、多くの実用的なダウンストリーム アプリケーションでの困難な作業です。
タスクは、多くの場合、クロッピング候補の生成、視覚的に重要な領域の検出、最も魅力的な候補を選択するための美学の決定などのサブ問題に分割されます。
従来のアプローチでは、これらのサブ問題の 1 つまたは複数を個別にモデル化し、多くの場合、それらを順番に組み合わせます。
画像の美学を明示的にモデル化したり、複数のトリミング候補を評価したり、視覚的に顕著な領域を検出したりすることなく、画像を直接トリミングするための新しい畳み込みニューラル ネットワーク (CNN) ベースの方法を提案します。
私たちのモデルは、経験豊富な編集者によってトリミングされた画像の大規模なデータセットでトレーニングされており、複数の固定アスペクト比の境界ボックスを同時に予測できます。
トリミングされた画像のアスペクト比は、美学に影響を与える重要な要素であると考えています。
自動画像トリミングの以前のアプローチでは、おそらくこのタスクのデータセットが不足しているため、出力の縦横比が適用されませんでした。
したがって、2 つの関連するタスクについて、公開データセットで手法のベンチマークを行います。1 つ目は、アスペクト比に関係なく美的な画像をトリミングすること、2 つ目は、固定のアスペクト比の出力を必要とするが美学は重要ではないサムネイルの生成です。
私たちの戦略は、これらの両方のタスクで既存の方法と競合するか、既存の方法よりも優れていることを示しています。
さらに、当社の 1 段階モデル​​は、既存の 2 段階またはエンドツーエンドの推論方法よりもトレーニングが容易であり、大幅に高速です。
定性的評価研究を提示し、私たちのモデルは目に見えないデータセットから多様な画像に一般化でき、トリミング後に元の画像の構成特性を保持することが多いことがわかりました。
私たちの結果は、競争力のある画像トリミング アルゴリズムを構築するために、画像の美学または視覚的注意領域を明示的にモデル化することが必ずしも必要ではないことを示しています。

要約(オリジナル)

Automatic Image Cropping is a challenging task with many practical downstream applications. The task is often divided into sub-problems – generating cropping candidates, finding the visually important regions, and determining aesthetics to select the most appealing candidate. Prior approaches model one or more of these sub-problems separately, and often combine them sequentially. We propose a novel convolutional neural network (CNN) based method to crop images directly, without explicitly modeling image aesthetics, evaluating multiple crop candidates, or detecting visually salient regions. Our model is trained on a large dataset of images cropped by experienced editors and can simultaneously predict bounding boxes for multiple fixed aspect ratios. We consider the aspect ratio of the cropped image to be a critical factor that influences aesthetics. Prior approaches for automatic image cropping, did not enforce the aspect ratio of the outputs, likely due to a lack of datasets for this task. We, therefore, benchmark our method on public datasets for two related tasks – first, aesthetic image cropping without regard to aspect ratio, and second, thumbnail generation that requires fixed aspect ratio outputs, but where aesthetics are not crucial. We show that our strategy is competitive with or performs better than existing methods in both these tasks. Furthermore, our one-stage model is easier to train and significantly faster than existing two-stage or end-to-end methods for inference. We present a qualitative evaluation study, and find that our model is able to generalize to diverse images from unseen datasets and often retains compositional properties of the original images after cropping. Our results demonstrate that explicitly modeling image aesthetics or visual attention regions is not necessarily required to build a competitive image cropping algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google