Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys

要約

この論文では、オランダのパネル調査における自由回答形式の質問への言語および音声技術の適用について検討します。
実験的な波では、回答者は、音声またはキーボードを使用して未解決の質問に回答することを選択できます。
音声応答の処理には自動音声認識 (ASR) が使用されました。
これらの入力モダリティからの回答を評価して、音声による回答と入力による回答の違いを調査しました。ASR システムが生成するエラーを報告し、下流の分析に対するこれらのエラーの影響を調査します。
自由回答形式の質問は、回答者がより自由に回答できるようにしますが、分析には多大な労力が伴います。
トランスフォーマーベースのモデル (BERT など) を使用して、未解決の質問の回答に感情分析とトピック モデリングを適用することの実現可能性を評価しました。
トランスフォーマーベースのモデルの大きな利点は、大量の言語素材でトレーニングされており、必ずしもターゲット素材でトレーニングする必要がないことです。
これは、テキスト資料があまり含まれていない調査データの場合に特に有利です。
自動ラベル付けを 3 人の人間の評価者と比較することで自動センチメント分析の品質をテストし、自動および手動で書き起こされた音声回答に基づいて生成されたモデルを比較することで、トピック モデリングの堅牢性をテストしました。

要約(オリジナル)

In this paper, we explore the application of language and speech technology to open-ended questions in a Dutch panel survey. In an experimental wave respondents could choose to answer open questions via speech or keyboard. Automatic speech recognition (ASR) was used to process spoken responses. We evaluated answers from these input modalities to investigate differences between spoken and typed answers.We report the errors the ASR system produces and investigate the impact of these errors on downstream analyses. Open-ended questions give more freedom to answer for respondents, but entail a non-trivial amount of work to analyse. We evaluated the feasibility of using transformer-based models (e.g. BERT) to apply sentiment analysis and topic modelling on the answers of open questions. A big advantage of transformer-based models is that they are trained on a large amount of language materials and do not necessarily need training on the target materials. This is especially advantageous for survey data, which does not contain a lot of text materials. We tested the quality of automatic sentiment analysis by comparing automatic labeling with three human raters and tested the robustness of topic modelling by comparing the generated models based on automatic and manually transcribed spoken answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google