Perceptual Structure in the Absence of Grounding for LLMs: The Impact of Abstractedness and Subjectivity in Color Language

要約

言語理解の基礎の必要性は、活発な研究テーマです。
これまでの研究では、色知覚と色言語がその認知的重要性を考慮し、定義された色空間と言語モデルによって定義された特徴空間との間にかなりの整合性があることを示し、問題を経験的に研究するための適切なテストベッドとして現れることが示唆されてきました。
この問題をさらに研究するために、ほぼ 100 万の例を含む大規模な色ソースとその説明を収集し、次の 2 種類の位置合わせを比較するための経験的分析を実行します: (i) 埋め込み間のマッピングを学習することで空間間
空間と色空間、および (ii) 色の記述間の比較を促すことによる空間内。
私たちの結果は、色空間の整合性は単語彙的で高度に実用的な色の記述には当てはまりますが、主観性や抽象化など実際の言語使用の要素を示す例が存在する場合にはこの整合性が大幅に低下することを示しており、そのような場合にはグラウンディングが必要である可能性があることを示唆しています。

要約(オリジナル)

The need for grounding in language understanding is an active research topic. Previous work has suggested that color perception and color language appear as a suitable test bed to empirically study the problem, given its cognitive significance and showing that there is considerable alignment between a defined color space and the feature space defined by a language model. To further study this issue, we collect a large scale source of colors and their descriptions, containing almost a 1 million examples , and perform an empirical analysis to compare two kinds of alignments: (i) inter-space, by learning a mapping between embedding space and color space, and (ii) intra-space, by means of prompting comparatives between color descriptions. Our results show that while color space alignment holds for monolexemic, highly pragmatic color descriptions, this alignment drops considerably in the presence of examples that exhibit elements of real linguistic usage such as subjectivity and abstractedness, suggesting that grounding may be required in such cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google