Can GPTs Evaluate Graphic Design Based on Design Principles?

要約

基礎モデルの最近の進歩により、グラフィック デザインの生成において有望な機能が示されています。
いくつかの研究では、LMM がグラフィック デザインの品質を適切に評価できると仮定して、グラフィック デザインを評価するために LMM を採用し始めていますが、その評価が信頼できるかどうかは不明です。
グラフィック デザインの品質を評価する 1 つの方法は、デザインがデザイナーの一般的な実践である基本的なグラフィック デザイン原則に準拠しているかどうかを評価することです。
この論文では、GPT ベースの評価と、60 人の被験者から収集したヒューマン アノテーションを使用した設計原則に基づくヒューリスティック評価の動作を比較します。
私たちの実験では、GPT は細部を区別できないものの、人間による注釈とかなり良好な相関関係があり、デザイン原則に基づくヒューリスティック指標に対して同様の傾向を示すことが明らかになりました。これは、GPT が実際にグラフィック デザインの品質を評価できることを示唆しています。
私たちのデータセットは https://cyberagentalab.github.io/Graphic-design-evaluation で入手できます。

要約(オリジナル)

Recent advancements in foundation models show promising capability in graphic design generation. Several studies have started employing Large Multimodal Models (LMMs) to evaluate graphic designs, assuming that LMMs can properly assess their quality, but it is unclear if the evaluation is reliable. One way to evaluate the quality of graphic design is to assess whether the design adheres to fundamental graphic design principles, which are the designer’s common practice. In this paper, we compare the behavior of GPT-based evaluation and heuristic evaluation based on design principles using human annotations collected from 60 subjects. Our experiments reveal that, while GPTs cannot distinguish small details, they have a reasonably good correlation with human annotation and exhibit a similar tendency to heuristic metrics based on design principles, suggesting that they are indeed capable of assessing the quality of graphic design. Our dataset is available at https://cyberagentailab.github.io/Graphic-design-evaluation .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google