要約
DALL-E や StableDiffusion などの Text-To-Image (TTI) モデルは、優れたプロンプトベースの画像生成機能を実証しています。
言語は文化のパイプであるため、多言語エンコーダーはこれらのモデルの文化的主体に大きな影響を与える可能性があります。
この研究では、文化的側面、文化的領域、文化的概念という 3 つの階層にわたって文化を特徴付けることにより、TTI モデルに組み込まれた文化的認識を調査します。
このオントロジーに基づいて、TTI モデルの文化的知識を解き放つための即時テンプレートを導出し、CLIP 空間を使用した本質的評価、視覚的質問回答 (VQA) モデルと人間による外部評価を含む、包括的な評価手法スイートを提案します。
評価、TTI で生成された画像の文化的内容を評価します。
研究を強化するために、10 言語にわたる 4 つの多様な TTI モデルから派生した CulText2I データセットを導入します。
私たちの実験は、TTI モデルにおける文化的エンコードの性質に関する研究課題を「何をするか、どれをどのように行うか」に関する洞察を提供し、これらのモデルの異文化間適用への道を開きます。
要約(オリジナル)
Text-To-Image (TTI) models, such as DALL-E and StableDiffusion, have demonstrated remarkable prompt-based image generation capabilities. Multilingual encoders may have a substantial impact on the cultural agency of these models, as language is a conduit of culture. In this study, we explore the cultural perception embedded in TTI models by characterizing culture across three hierarchical tiers: cultural dimensions, cultural domains, and cultural concepts. Based on this ontology, we derive prompt templates to unlock the cultural knowledge in TTI models, and propose a comprehensive suite of evaluation techniques, including intrinsic evaluations using the CLIP space, extrinsic evaluations with a Visual-Question-Answer (VQA) model and human assessments, to evaluate the cultural content of TTI-generated images. To bolster our research, we introduce the CulText2I dataset, derived from four diverse TTI models and spanning ten languages. Our experiments provide insights regarding Do, What, Which and How research questions about the nature of cultural encoding in TTI models, paving the way for cross-cultural applications of these models.
arxiv情報
| 著者 | Mor Ventura,Eyal Ben-David,Anna Korhonen,Roi Reichart |
| 発行日 | 2023-11-29 15:11:02+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google