REWIND Dataset: Privacy-preserving Speaking Status Segmentation from Multimodal Body Movement Signals in the Wild

要約

人間の発話を認識することは、社会的相互作用を理解するための中心的な課題である。理想的には、以前会議のシナリオで行われたように、個々の音声記録から話し声を検出することである。しかし、個々の音声の録音は、コスト、ロジスティクス、プライバシーの問題から、特に混雑した交流の場面では入手が困難である。代替案として、ビデオやウェアラブルセンサーデータで訓練された機械学習モデルにより、控えめで、プライバシーを保護する方法で、関連するジェスチャーを検出することで音声を認識することが可能になる。これらのモデル自体は、音声信号から得られたラベルを使用して訓練されることが理想的である。しかし、既存のミングリングデータセットには高品質の音声記録が含まれていない。その代わりに、発話状態のアノテーションは、音声ベースのグランドトゥルースに対するこのアプローチの検証なしに、しばしば映像から人間のアノテーターによって推測されてきた。本論文では、プロフェッショナルなネットワーキング・イベントにおける33人の被験者の高品質な個別発話録音を含む、一般に利用可能な初のマルチモーダルデータセットを提示することで、音声なしの発話状態推定を再検討する。a)ビデオ、b)身体加速度(胸部に装着した加速度計)、c)身体ポーズトラック。全ての場合において、音声から抽出された20Hzのバイナリ発話状態信号を予測する。REWINDは、様々な発話状態検出法を評価するために必要な信号とグランドトゥルースを提供するだけでなく、音声を利用できるため、これまでのミングリングデータセットでは不可能であったクロスモダリティの研究に適している。最後に、私たちの柔軟なデータ同意設定は、欠落モダリティ下のマルチモーダルシステムに新たな課題をもたらします。

要約(オリジナル)

Recognizing speaking in humans is a central task towards understanding social interactions. Ideally, speaking would be detected from individual voice recordings, as done previously for meeting scenarios. However, individual voice recordings are hard to obtain in the wild, especially in crowded mingling scenarios due to cost, logistics, and privacy concerns. As an alternative, machine learning models trained on video and wearable sensor data make it possible to recognize speech by detecting its related gestures in an unobtrusive, privacy-preserving way. These models themselves should ideally be trained using labels obtained from the speech signal. However, existing mingling datasets do not contain high quality audio recordings. Instead, speaking status annotations have often been inferred by human annotators from video, without validation of this approach against audio-based ground truth. In this paper we revisit no-audio speaking status estimation by presenting the first publicly available multimodal dataset with high-quality individual speech recordings of 33 subjects in a professional networking event. We present three baselines for no-audio speaking status segmentation: a) from video, b) from body acceleration (chest-worn accelerometer), c) from body pose tracks. In all cases we predict a 20Hz binary speaking status signal extracted from the audio, a time resolution not available in previous datasets. In addition to providing the signals and ground truth necessary to evaluate a wide range of speaking status detection methods, the availability of audio in REWIND makes it suitable for cross-modality studies not feasible with previous mingling datasets. Finally, our flexible data consent setup creates new challenges for multimodal systems under missing modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL