Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research

要約

タイトル: 音質の影響が自然なインファント指向性音声研究における長時間録音の利用に与える影響の分析

要約:
– 幼児の言語発達をモデル化することは、幼児が言語スキルを獲得する方法を理解することを目的としています。
– モデリングには、モデルのトレーニングに使用される入力データの特性、テストされる認知仮説とそのアルゴリズムの実装、そしてモデルを人間のデータと比較する評価方法が含まれます。
– 最近の発展により、より自然なトレーニングデータを使用した計算モデルの使用が可能になっています。
– これにより、より自然なモデルの行動をテストすることを促します。
– このような目的に向けた重要なステップは、幼児が自然な環境で聞く音声のデータセットを開発することです。
– ただし、そのような録音の主要な欠点は、通常ノイズが多いということです。
– 本論文では、幼児指向性音声（IDS）および成人指向性音声（ADS）の分析の場合について、自然なデータの異なる音質サブセットを横断的に比較した。
– 我々の結果は、控えめで高い音質の自然な音声データの利用がIDSおよびADSについての音響解析とモデリング実験に与える影響がほとんど同じであることを示しています。
– また、自動音質評価ツールを使用して、長時間録音の有用な部分を自動的にスクリーニングすることができ、手動品質注釈と同様の結果を得ることができることもわかりました。

要約(オリジナル)

Modelling of early language acquisition aims to understand how infants bootstrap their language skills. The modelling encompasses properties of the input data used for training the models, the cognitive hypotheses and their algorithmic implementations being tested, and the evaluation methodologies to compare models to human data. Recent developments have enabled the use of more naturalistic training data for computational models. This also motivates development of more naturalistic tests of model behaviour. A crucial step towards such an aim is to develop representative speech datasets consisting of speech heard by infants in their natural environments. However, a major drawback of such recordings is that they are typically noisy, and it is currently unclear how the sound quality could affect analyses and modelling experiments conducted on such data. In this paper, we explore this aspect for the case of infant-directed speech (IDS) and adult-directed speech (ADS) analysis. First, we manually and automatically annotated audio quality of utterances extracted from two corpora of child-centred long-form recordings (in English and French). We then compared acoustic features of IDS and ADS in an in-lab dataset and across different audio quality subsets of naturalistic data. Finally, we assessed how the audio quality and recording environment may change the conclusions of a modelling analysis using a recent self-supervised learning model. Our results show that the use of modest and high audio quality naturalistic speech data result in largely similar conclusions on IDS and ADS in terms of acoustic analyses and modelling experiments. We also found that an automatic sound quality assessment tool can be used to screen out useful parts of long-form recordings for a closer analysis with comparable results to that of manual quality annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI