要約
人工知能生成画像 (AGI) の普及により、画像の自然さ評価 (INA) の問題が大幅に拡大しました。
歪み（露出、コントラスト、色再現など）が制限されたトーンマップ画像に主に焦点を当てた初期の定義とは異なり、AI 生成画像の INA は、より多様な内容を持ち、複数の要素の影響を受ける可能性があるため、特に困難です。
低レベルの技術的な歪みと高レベルの合理性の歪みを含む視点。
このペーパーでは、AI が生成した画像の視覚的な自然さをベンチマークし、評価するための最初のステップを踏みます。
まず、全体的な自然さに関する人間の意見と、技術的および合理性の観点からの認識を収集する大規模な主観的研究を実施することにより、AI 生成画像の自然さ (AGIN) データベースを構築します。
AGIN は、自然性が技術的歪みと合理性歪みの両方によって普遍的かつ異様な影響を受けることを検証しています。
第 2 に、人間の評価を調整する AGI の自然性を自動的に学習するための Joint Objective Image Naturalness EvaluaTor (JOINT) を提案します。
具体的には、JOINTは技術的観点と合理的観点の両方を共同で学習することで、自然性評価における人間の推論を模倣します。
実験結果は、私たちが提案した JOINT が、自然さの評価においてより主観的に一貫した結果を提供するベースラインを大幅に上回っていることを示しています。
私たちのデータベースとコードは https://github.com/zijianchen98/AGIN でリリースされます。
要約(オリジナル)
The proliferation of Artificial Intelligence-Generated Images (AGIs) has greatly expanded the Image Naturalness Assessment (INA) problem. Different from early definitions that mainly focus on tone-mapped images with limited distortions (e.g., exposure, contrast, and color reproduction), INA on AI-generated images is especially challenging as it has more diverse contents and could be affected by factors from multiple perspectives, including low-level technical distortions and high-level rationality distortions. In this paper, we take the first step to benchmark and assess the visual naturalness of AI-generated images. First, we construct the AI-Generated Image Naturalness (AGIN) database by conducting a large-scale subjective study to collect human opinions on the overall naturalness as well as perceptions from technical and rationality perspectives. AGIN verifies that naturalness is universally and disparately affected by both technical and rationality distortions. Second, we propose the Joint Objective Image Naturalness evaluaTor (JOINT), to automatically learn the naturalness of AGIs that aligns human ratings. Specifically, JOINT imitates human reasoning in naturalness evaluation by jointly learning both technical and rationality perspectives. Experimental results show our proposed JOINT significantly surpasses baselines for providing more subjectively consistent results on naturalness assessment. Our database and code will be released in https://github.com/zijianchen98/AGIN.
arxiv情報
| 著者 | Zijian Chen,Wei Sun,Haoning Wu,Zicheng Zhang,Jun Jia,Xiongkuo Min,Guangtao Zhai,Wenjun Zhang |
| 発行日 | 2023-12-14 15:46:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google