Does Conceptual Representation Require Embodiment? Insights From Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩は、知識表現に具体化された経験の基礎がどの程度必要であるかに関する議論に光を当てる可能性があります。
限られたモダリティ（GPT-3.5の場合はテキスト、GPT-4の場合はテキスト+画像）から学習しているにもかかわらず、LLMはさまざまな心理学タスクにおいて人間のような行動を示しており、これは概念的な知識の獲得について別の解釈を提供する可能性があります。
我々は、さまざまな語彙概念的特徴または次元（感情的興奮、具体性、触覚など）の主観的評価に関して、人間とChatGPT（GPT-3.5およびGPT-4）の間で語彙概念的表現を比較しました。
結果は、GPT-3.5 と GPT-4 の両方が、感情や顕著性などの抽象的な次元で人間と強く相関していることを示しています。
感覚領域および運動領域に関連する次元では、GPT-3.5 は弱い相関を示しますが、GPT-4 は GPT-3.5 と比較して大幅な進歩を遂げています。
それでも、GPT-4 は、足/脚、口/喉、胴体を使った動作などの概念的知識の運動面を完全に捉えるのに苦労しています。
さらに、GPT-4 の進歩は視覚領域でのトレーニングに大きく関係している可能性があることもわかりました。
概念的表現の特定の側面は感覚能力からある程度の独立性を示すように見えますが、他の側面は感覚能力からの独立性を必要としているように見えます。
私たちの調査結果は、さまざまな観点から知識表現の複雑さについての洞察を提供し、言語と認知の形成における身体化された経験の潜在的な影響を浮き彫りにします。

要約(オリジナル)

Recent advances in large language models (LLM) have the potential to shed light on the debate regarding the extent to which knowledge representation requires the grounding of embodied experience. Despite learning from limited modalities (e.g., text for GPT-3.5, and text+image for GPT-4), LLMs have nevertheless demonstrated human-like behaviors in various psychology tasks, which may provide an alternative interpretation of the acquisition of conceptual knowledge. We compared lexical conceptual representations between humans and ChatGPT (GPT-3.5 and GPT-4) on subjective ratings of various lexical conceptual features or dimensions (e.g., emotional arousal, concreteness, haptic, etc.). The results show that both GPT-3.5 and GPT-4 were strongly correlated with humans in some abstract dimensions, such as emotion and salience. In dimensions related to sensory and motor domains, GPT-3.5 shows weaker correlations while GPT-4 has made significant progress compared to GPT-3.5. Still, GPT-4 struggles to fully capture motor aspects of conceptual knowledge such as actions with foot/leg, mouth/throat, and torso. Moreover, we found that GPT-4’s progress can largely be associated with its training in the visual domain. Certain aspects of conceptual representation appear to exhibit a degree of independence from sensory capacities, but others seem to necessitate them. Our findings provide insights into the complexities of knowledge representation from diverse perspectives and highlights the potential influence of embodied experience in shaping language and cognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google