The language of sounds unheard: Exploring sensory semantic knowledge in large language models

要約

タイトル- 聞こえない音の言語：大規模言語モデルにおける感覚的意味知識の探求

要約- 音の意味のセマンティック寸法は、聴覚感覚経験の本質だけでなく、知覚、言語、および意味の広い関係を理解する上で中心的な役割を果たしています。従って、最近増加している大規模言語モデル（LLMs）において、人間が観察した知覚セマンティックの組織化が、そのようなモデルに存在するかどうかを調べることにしました。具体的には、最新のチャットボットであるChatGPTを使って、20のセマンティック指標に基づいて音楽器の音を評価させました。一人の人間の評価ではなく、複数の別々のチャットで複数回の応答を引き出しました。ChatGPTは、人間の評価と部分的に相関するセマンティックプロファイルを生成しましたが、音楽の明暗（明るい鈍い）や音の高さ（深い高い）などのよく知られた心理物理的音響寸法に沿って堅牢な合意が見られました。探索的因子分析は、チャットボットと人間の評価の間の潜在的因子空間の同じ次元性を示唆していますが、異なる空間構成でした。意外なことに、チャットボットは、人間の評価と同じ程度の内部変動を示しました。我々の研究は、LLMsが人間の感覚経験の著しい寸法を捕捉する可能性を示しています。

要約(オリジナル)

Semantic dimensions of sound have been playing a central role in understanding the nature of auditory sensory experience as well as the broader relation between perception, language, and meaning. Accordingly, and given the recent proliferation of large language models (LLMs), here we asked whether such models exhibit an organisation of perceptual semantics similar to those observed in humans. Specifically, we prompted ChatGPT, a chatbot based on a state-of-the-art LLM, to rate musical instrument sounds on a set of 20 semantic scales. We elicited multiple responses in separate chats, analogous to having multiple human raters. ChatGPT generated semantic profiles that only partially correlated with human ratings, yet showed robust agreement along well-known psychophysical dimensions of musical sounds such as brightness (bright-dark) and pitch height (deep-high). Exploratory factor analysis suggested the same dimensionality but different spatial configuration of a latent factor space between the chatbot and human ratings. Unexpectedly, the chatbot showed degrees of internal variability that were comparable in magnitude to that of human ratings. Our work highlights the potential of LLMs to capture salient dimensions of human sensory experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI