Evaluating Numerical Reasoning in Text-to-Image Models

要約

テキストから画像への生成モデルは、自然言語を使用して記述されている概念を忠実に描写することが多い高品質の画像を作成できます。
この作業では、さまざまな難易度の数値推論タスクに関するさまざまなテキスト間モデルを包括的に評価し、最も高度なモデルでさえ初歩的な数値スキルしかないことを示します。
具体的には、画像内の正確な数のオブジェクトを正しく生成する能力は少数に制限されており、数の用語が表示されるコンテキストに大きく依存し、連続した数ごとに迅速に劣化します。
また、モデルは、言語数量（「少数」や「多く」など）、ゼロの概念など、部分量や分数表現などのより高度な概念と闘っていることを理解していないことを実証しています。
数値推論の評価のための新しいベンチマークであるGeckonumにプロンプ​​ト、生成された画像、および人間の注釈を束ねます。

要約(オリジナル)

Text-to-image generative models are capable of producing high-quality images that often faithfully depict concepts described using natural language. In this work, we comprehensively evaluate a range of text-to-image models on numerical reasoning tasks of varying difficulty, and show that even the most advanced models have only rudimentary numerical skills. Specifically, their ability to correctly generate an exact number of objects in an image is limited to small numbers, it is highly dependent on the context the number term appears in, and it deteriorates quickly with each successive number. We also demonstrate that models have poor understanding of linguistic quantifiers (such as ‘a few’ or ‘as many as’), the concept of zero, and struggle with more advanced concepts such as partial quantities and fractional representations. We bundle prompts, generated images and human annotations into GeckoNum, a novel benchmark for evaluation of numerical reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google