Recursive Segmentation Living Image: An eXplainable AI (XAI) Approach for Computing Structural Beauty of Images or the Livingness of Space

要約

この研究では、画像の美的魅力を評価するための客観的な計算アプローチとして「構造美」の概念を導入しています。
セグメント何でもモデル (SAM) の利用を通じて、再帰的セグメンテーションを利用してより細かい部分構造を抽出する方法を提案します。
さらに、階層構造を再構成することにより、部分構造の量と階層をより正確に表現できます。
このアプローチは、私たちの以前の研究を再現および拡張し、グレースケール変換や前景と背景の生存性の個別の計算を必要とせずに、フルカラー画像での生存性の同時評価を可能にします。
さらに、主観的な景観評価のリポジトリである Scenic or Not データセットに私たちの方法を適用すると、スコア 0 ～ 6 の範囲の主観的な評価との高度な一貫性が実証されます。
これは、構造の美しさが単なる主観的な認識ではなく、客観的な計算を通じてアクセスできる定量化可能な属性であることを強調しています。
ケーススタディを通じて、私たちは 3 つの重要な結論に達しました。
1) 私たちの方法は、絵画内の抽象的な下部構造だけでなく、木、建物、窓などの意味のあるオブジェクトを正確にセグメント化する機能を実証します。
2) 画像の鮮明さが計算結果に影響を与えることを観察しました。
画像が鮮明であればあるほど、より高い生存性スコアが得られる傾向があります。
ただし、同様にぼやけた画像の場合、リビングネスは大幅な低下を示さず、人間の視覚認識と一致します。
3) 私たちのアプローチは、画像スコアを予測するために畳み込みニューラル ネットワーク (CNN) を使用する方法とは根本的に異なります。
私たちの手法は計算結果を提供するだけでなく、透明性と解釈可能性も提供し、Explainable AI (XAI) の領域における新しい手段として位置づけています。

要約(オリジナル)

This study introduces the concept of ‘structural beauty’ as an objective computational approach for evaluating the aesthetic appeal of images. Through the utilization of the Segment anything model (SAM), we propose a method that leverages recursive segmentation to extract finer-grained substructures. Additionally, by reconstructing the hierarchical structure, we obtain a more accurate representation of substructure quantity and hierarchy. This approach reproduces and extends our previous research, allowing for the simultaneous assessment of Livingness in full-color images without the need for grayscale conversion or separate computations for foreground and background Livingness. Furthermore, the application of our method to the Scenic or Not dataset, a repository of subjective scenic ratings, demonstrates a high degree of consistency with subjective ratings in the 0-6 score range. This underscores that structural beauty is not solely a subjective perception, but a quantifiable attribute accessible through objective computation. Through our case studies, we have arrived at three significant conclusions. 1) our method demonstrates the capability to accurately segment meaningful objects, including trees, buildings, and windows, as well as abstract substructures within paintings. 2) we observed that the clarity of an image impacts our computational results; clearer images tend to yield higher Livingness scores. However, for equally blurry images, Livingness does not exhibit a significant reduction, aligning with human visual perception. 3) our approach fundamentally differs from methods employing Convolutional Neural Networks (CNNs) for predicting image scores. Our method not only provides computational results but also offers transparency and interpretability, positioning it as a novel avenue in the realm of Explainable AI (XAI).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google