UMAAF: Unveiling Aesthetics via Multifarious Attributes of Images

要約

スマートフォンと Web サイトの普及に伴い、画像の美的評価 (IAA) がますます重要になっています。
IAA における属性の重要性は広く認識されていますが、多くの属性ベースの手法では、美的属性の選択と利用が考慮されていません。
私たちの最初のステップには、内部および内部の視点の両方から美的属性を獲得することが含まれます。
イントラパースペクティブ内では、絶対属性を構成する画像の直接的な視覚属性を抽出します。
インターパースペクティブでは、同じシーケンス内の画像間の相対スコア関係をモデル化し、相対属性を形成することに重点を置きます。
次に、美的評価において画像属性をより効果的に利用するために、画像の絶対的属性と相対的属性の両方をモデル化する統合マルチ属性美的評価フレームワーク (UMAAF) を提案します。
絶対属性の場合、複数の絶対属性認識モジュールと絶対属性相互作用ネットワークを活用します。
絶対属性認識モジュールは、まずいくつかの絶対属性学習タスクで事前トレーニングされ、次に対応する絶対属性特徴を抽出するために使用されます。
絶対属性相互作用ネットワークは、多様な絶対属性特徴の重みを適応的に学習し、それらをさまざまな絶対属性の観点から一般的な美的特徴と効果的に統合し、美的予測を生成します。
画像の相対的な属性をモデル化するために、相対関係損失関数で画像間の相対的なランキングと相対的な距離の関係を考慮します。これにより、UMAAF の堅牢性が向上します。
さらに、UMAAF は TAD66K および AVA データセットで最先端のパフォーマンスを実現し、複数の実験により各モジュールの有効性とモデルが人間の好みに適合していることが実証されています。

要約(オリジナル)

With the increasing prevalence of smartphones and websites, Image Aesthetic Assessment (IAA) has become increasingly crucial. While the significance of attributes in IAA is widely recognized, many attribute-based methods lack consideration for the selection and utilization of aesthetic attributes. Our initial step involves the acquisition of aesthetic attributes from both intra- and inter-perspectives. Within the intra-perspective, we extract the direct visual attributes of images, constituting the absolute attribute. In the inter-perspective, our focus lies in modeling the relative score relationships between images within the same sequence, forming the relative attribute. Then, to better utilize image attributes in aesthetic assessment, we propose the Unified Multi-attribute Aesthetic Assessment Framework (UMAAF) to model both absolute and relative attributes of images. For absolute attributes, we leverage multiple absolute-attribute perception modules and an absolute-attribute interacting network. The absolute-attribute perception modules are first pre-trained on several absolute-attribute learning tasks and then used to extract corresponding absolute attribute features. The absolute-attribute interacting network adaptively learns the weight of diverse absolute-attribute features, effectively integrating them with generic aesthetic features from various absolute-attribute perspectives and generating the aesthetic prediction. To model the relative attribute of images, we consider the relative ranking and relative distance relationships between images in a Relative-Relation Loss function, which boosts the robustness of the UMAAF. Furthermore, UMAAF achieves state-of-the-art performance on TAD66K and AVA datasets, and multiple experiments demonstrate the effectiveness of each module and the model’s alignment with human preference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google