The mutual exclusivity bias of bilingual visually grounded speech models

要約

相互排他性（私）は、おなじみの言葉ではなく、子供の言語学習を促進するのではなく、斬新な言葉に関連付けられている戦略です。
最近の研究では、ペアの画像で英語のスピーチで訓練された視覚的に接地されたスピーチ（VGS）モデルでMEバイアスが発見されました。
しかし、私はまた、バイリンガルの子供たちで研究されています。
英語、フランス語、オランダ語の組み合わせでトレーニングされたバイリンガルVGSモデルを使用して、このパターンを計算的に調査します。
バイリンガルモデルは一般に、例外が存在しますが、単一言語モデルよりも弱いMEバイアスを示すことがわかります。
分析では、バイリンガルモデルの視覚的な組み合わせが組み合わされていることは、馴染みのあるデータの分散が小さく、斬新な概念と馴染みのある概念の間の混乱の増加を部分的に説明しています。
また、そもそもVGSモデルにMEバイアスが存在する理由についての新しい洞察も提供します。
コードとデータ：https：//github.com/danoneata/me-vgs

要約(オリジナル)

Mutual exclusivity (ME) is a strategy where a novel word is associated with a novel object rather than a familiar one, facilitating language learning in children. Recent work has found an ME bias in a visually grounded speech (VGS) model trained on English speech with paired images. But ME has also been studied in bilingual children, who may employ it less due to cross-lingual ambiguity. We explore this pattern computationally using bilingual VGS models trained on combinations of English, French, and Dutch. We find that bilingual models generally exhibit a weaker ME bias than monolingual models, though exceptions exist. Analyses show that the combined visual embeddings of bilingual models have a smaller variance for familiar data, partly explaining the increase in confusion between novel and familiar concepts. We also provide new insights into why the ME bias exists in VGS models in the first place. Code and data: https://github.com/danoneata/me-vgs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google