Personalized Image Enhancement Featuring Masked Style Modeling

要約

この研究では、ユーザーの好みの画像に基づいて各ユーザーの入力画像を強化する、パーソナライズされた画像強化に取り組みます。
以前の方法では、すべての入力画像に同じ優先スタイルが適用されます (つまり、ユーザーごとにスタイルが 1 つだけ)。
これらの方法とは対照的に、コンテンツを考慮して各画像に異なるスタイルを適用することで、コンテンツを意識したパーソナライゼーションを実現することを目指しています。
コンテンツを意識したパーソナライゼーションについては、2 つの貢献を行っています。
まず、マスク言語モデリングの枠組みを用いて、入力画像の内容を考慮してスタイルを予測するマスクスタイルモデリングという手法を提案する。
次に、このモデルが画像の内容を考慮できるようにするために、Flickr から画像をダウンロードし、劣化モデルを使用して疑似入力画像とレタッチ画像のペアを作成する新しいトレーニング スキームを提案します。
私たちは定量的な評価とユーザー調査を実施し、トレーニングスキームを使用してトレーニングされたメソッドは、コンテンツを意識したパーソナライゼーションを首尾よく達成します。
さらに、私たちの方法は、この分野で以前の他の方法よりも優れています。
私たちのソースコードは https://github.com/さとし-komuro/masked-style-modeling から入手できます。

要約(オリジナル)

We address personalized image enhancement in this study, where we enhance input images for each user based on the user’s preferred images. Previous methods apply the same preferred style to all input images (i.e., only one style for each user); in contrast to these methods, we aim to achieve content-aware personalization by applying different styles to each image considering the contents. For content-aware personalization, we make two contributions. First, we propose a method named masked style modeling, which can predict a style for an input image considering the contents by using the framework of masked language modeling. Second, to allow this model to consider the contents of images, we propose a novel training scheme where we download images from Flickr and create pseudo input and retouched image pairs using a degrading model. We conduct quantitative evaluations and a user study, and our method trained using our training scheme successfully achieves content-aware personalization; moreover, our method outperforms other previous methods in this field. Our source code is available at https://github.com/satoshi-kosugi/masked-style-modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google