Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues

要約

人間の乳児は、音韻分布の統​​計的特性と他の感覚刺激の共起に基づいて、最小限の言語に関する予備知識で言語語彙を獲得します。
本研究では、音韻情報を分布手がかりとして、物体情報を共起手がかりとして用いて音声単位を発見するための、完全に教師なしの新しい学習方法を提案する。
提案手法は教師なし学習を用いて音声信号から単語と音素を取得し、視覚、触覚、聴覚といった複数のモダリティに基づく物体情報を同時に利用することができる。
提案手法は、音韻特徴から音素と単語を発見するノンパラメトリック ベイズ二重調音解析器 (NPB-DAA) と、物体から得られるマルチモーダル情報を分類するマルチモーダル潜在ディリクレ割り当て (MLDA) に基づいています。
実験では、提案手法はベースライン手法よりも高い単語発見性能を示しました。
物の特徴を表す単語（名詞や形容詞に相当する単語）を正確に分割しました。
さらに、言語情報の重要性の違いが学習パフォーマンスにどのような影響を与えるかを調べました。
単語モダリティの重みを増やすと、固定条件と比較してパフォーマンスがさらに向上しました。

要約(オリジナル)

Human infants acquire their verbal lexicon with minimal prior knowledge of language based on the statistical properties of phonological distributions and the co-occurrence of other sensory stimuli. This study proposes a novel fully unsupervised learning method for discovering speech units using phonological information as a distributional cue and object information as a co-occurrence cue. The proposed method can acquire words and phonemes from speech signals using unsupervised learning and utilize object information based on multiple modalities-vision, tactile, and auditory-simultaneously. The proposed method is based on the nonparametric Bayesian double articulation analyzer (NPB-DAA) discovering phonemes and words from phonological features, and multimodal latent Dirichlet allocation (MLDA) categorizing multimodal information obtained from objects. In an experiment, the proposed method showed higher word discovery performance than baseline methods. Words that expressed the characteristics of objects (i.e., words corresponding to nouns and adjectives) were segmented accurately. Furthermore, we examined how learning performance is affected by differences in the importance of linguistic information. Increasing the weight of the word modality further improved performance relative to that of the fixed condition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google