Implicit In-Context Learning: Evidence from Artificial Language Experiments

要約

人間は暗黙の学習を通じて言語を獲得し、明示的な認識なしに複雑なパターンを吸収します。
LLMは印象的な言語能力を示していますが、推測レベルでのコンテキスト学習中に人間のようなパターン認識を示すかどうかは不明のままです。
形態、morphosyntax、および構文にまたがる3つの古典的な人工言語学習実験を適応させ、2つの最先端のOpenaiモデルであるGPT-4OとO3-MINIの推測レベルで暗黙学習を体系的に評価しました。
私たちの結果は、モデルと人間の行動の間の言語ドメイン固有のアライメントを明らかにし、O3-MINIは形態においてより良く整列し、両方のモデルは構文に整列します。

要約(オリジナル)

Humans acquire language through implicit learning, absorbing complex patterns without explicit awareness. While LLMs demonstrate impressive linguistic capabilities, it remains unclear whether they exhibit human-like pattern recognition during in-context learning at inferencing level. We adapted three classic artificial language learning experiments spanning morphology, morphosyntax, and syntax to systematically evaluate implicit learning at inferencing level in two state-of-the-art OpenAI models: gpt-4o and o3-mini. Our results reveal linguistic domain-specific alignment between models and human behaviors, o3-mini aligns better in morphology while both models align in syntax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google