Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning

要約

幼児が音声と言語構造をどのように認識するかを理解することは、依然として未解決の問題です。
人工ニューラル ネットワークに関するこれまでの研究は、主に大規模なデータセット依存の生成モデルに焦点を当てており、「知覚の狭まり」などの言語関連の現象を再現することを目的としていました。
本稿では、モノリンガルおよびバイリンガル音声学習（「臨界期」における言語音獲得と呼ばれる）のための予測符号化に基づく継続学習機構を備えた小型生成ニューラルネットワークを用いた新しいアプローチを提案する。
そして、学習が関与しない生成のための組成最適化メカニズム（後の幼児期の音模倣）。
私たちのモデルは解釈可能性を優先し、オンライン学習の利点を実証しています。実質的なオフライン トレーニングを必要とするディープ ネットワークとは異なり、私たちのモデルは新しいデータで継続的に更新され、入力の変化に適応して応答することができます。
私たちは実験を通じて、第二言語習得が乳児期後半に起こると、臨界期以降の外国語学習に伴う課題が増幅し、知覚の狭窄効果が再現されることを実証しました。

要約(オリジナル)

Understanding how infants perceive speech sounds and language structures is still an open problem. Previous research in artificial neural networks has mainly focused on large dataset-dependent generative models, aiming to replicate language-related phenomena such as ”perceptual narrowing”. In this paper, we propose a novel approach using a small-sized generative neural network equipped with a continual learning mechanism based on predictive coding for mono-and bilingual speech sound learning (referred to as language sound acquisition during ”critical period”) and a compositional optimization mechanism for generation where no learning is involved (later infancy sound imitation). Our model prioritizes interpretability and demonstrates the advantages of online learning: Unlike deep networks requiring substantial offline training, our model continuously updates with new data, making it adaptable and responsive to changing inputs. Through experiments, we demonstrate that if second language acquisition occurs during later infancy, the challenges associated with learning a foreign language after the critical period amplify, replicating the perceptual narrowing effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google