HeySQuAD: A Spoken Question Answering Dataset

要約

音声質問応答 (SQA) システムは、デジタル アシスタントやその他の実世界のユースケースにとって重要ですが、人間の音声による質問の重要性により、そのパフォーマンスを評価するのは困難です。
この研究では、HeySQuAD と呼ばれる新しい大規模なコミュニティ共有 SQA データセットを紹介します。これには、SQuAD QA データセットからの 76,000 の人間の音声質問、97,000 の機械生成の質問、およびそれらに対応するテキスト回答が含まれています。
私たちの目標は、騒がしい話し言葉の質問を正確に理解し、信頼できる回答を提供する機械の能力を測定することです。
広範なテストを通じて、文字起こしされた人間の話し言葉とオリジナルの SQuAD 質問を使用したトレーニングは、元の SQuAD テキストの質問のみを使用したトレーニングと比較して、人間の話し言葉の質問への回答が大幅に向上 (12.51%) することが実証されました。
さらに、より高品質な文字起こしで評価すると、さらに 2.03% の改善につながる可能性があります。
この研究は、SQA システムの開発と、実際のシナリオでユーザーのニーズを満たす能力に重要な意味を持ちます。

要約(オリジナル)

Spoken question answering (SQA) systems are critical for digital assistants and other real-world use cases, but evaluating their performance is a challenge due to the importance of human-spoken questions. This study presents a new large-scale community-shared SQA dataset called HeySQuAD, which includes 76k human-spoken questions, 97k machine-generated questions, and their corresponding textual answers from the SQuAD QA dataset. Our goal is to measure the ability of machines to accurately understand noisy spoken questions and provide reliable answers. Through extensive testing, we demonstrate that training with transcribed human-spoken and original SQuAD questions leads to a significant improvement (12.51%) in answering human-spoken questions compared to training with only the original SQuAD textual questions. Moreover, evaluating with a higher-quality transcription can lead to a further improvement of 2.03%. This research has significant implications for the development of SQA systems and their ability to meet the needs of users in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google