Classification of Spontaneous and Scripted Speech for Multilingual Audio

要約

台本に書かれた発話と自発的な発話を区別することは、発話スタイルが音声処理研究にどのような影響を与えるかをより深く理解するために不可欠なツールです。
また、録音された大規模な音声カタログをより適切にセグメント化することで、メディア ユーザーの推奨システムと発見エクスペリエンスを向上させることもできます。
このペーパーでは、さまざまな形式や言語にわたって適切に一般化できる分類器を構築するという課題に取り組みます。
私たちは、トレーニングと検証のために大規模な多言語独自のポッドキャスト データセットを利用して、伝統的な手作りの音響および韻律特徴から高度なオーディオ トランスフォーマーに至るまでのモデルを体系的に評価します。
言語間のバイアスを評価するために、11 の言語グループにわたる各モデルのパフォーマンスを分析します。
私たちの実験分析は、ポッドキャスト以外の領域に対するモデルの一般化可能性を評価するために、公開されているデータセットにまで拡張されています。
私たちの結果は、トランスフォーマーベースのモデルが従来の特徴ベースの技術を常に上回っており、さまざまな言語にわたってスクリプトによる音声と自発的な音声を区別する際に最先端のパフォーマンスを達成していることを示しています。

要約(オリジナル)

Distinguishing scripted from spontaneous speech is an essential tool for better understanding how speech styles influence speech processing research. It can also improve recommendation systems and discovery experiences for media users through better segmentation of large recorded speech catalogues. This paper addresses the challenge of building a classifier that generalises well across different formats and languages. We systematically evaluate models ranging from traditional, handcrafted acoustic and prosodic features to advanced audio transformers, utilising a large, multilingual proprietary podcast dataset for training and validation. We break down the performance of each model across 11 language groups to evaluate cross-lingual biases. Our experimental analysis extends to publicly available datasets to assess the models’ generalisability to non-podcast domains. Our results indicate that transformer-based models consistently outperform traditional feature-based techniques, achieving state-of-the-art performance in distinguishing between scripted and spontaneous speech across various languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google