Multilingual Conceptual Coverage in Text-to-Image Models

要約

我々は「言語横断的概念カバレッジ」（CoCo-CroLa）を提案する。これは、生成的テキスト画像システムが、有形名詞の観点から訓練言語に対してどの程度多言語パリティを提供するかをベンチマークする手法である。各モデルについて、ソース言語の一連の有形名詞に対して生成された画像の集団と、ターゲット言語の翻訳対象の各名詞に対して生成された画像の集団を比較することで、ソース言語に対する特定のターゲット言語の「概念的カバレッジ」を評価することができます。この手法により、モデルがターゲット言語にどの程度適しているかを推定し、モデル固有の弱点、偽の相関、偏りを、事前に仮定することなく特定することができます。また、T2Iモデルの多言語化のベンチマークに利用できること、そして、シンプルであるにもかかわらず、印象的な汎化の良い代理となることを示す。

要約(オリジナル)

We propose ‘Conceptual Coverage Across Languages’ (CoCo-CroLa), a technique for benchmarking the degree to which any generative text-to-image system provides multilingual parity to its training language in terms of tangible nouns. For each model we can assess ‘conceptual coverage’ of a given target language relative to a source language by comparing the population of images generated for a series of tangible nouns in the source language to the population of images generated for each noun under translation in the target language. This technique allows us to estimate how well-suited a model is to a target language as well as identify model-specific weaknesses, spurious correlations, and biases without a-priori assumptions. We demonstrate how it can be used to benchmark T2I models in terms of multilinguality, and how despite its simplicity it is a good proxy for impressive generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL