WASD: A Wilder Active Speaker Detection Dataset

要約

現在のアクティブ スピーカー検出 (ASD) モデルは、音声と顔の特徴のみを使用して、AVA-ActiveSpeaker (AVA) で優れた結果を達成します。
このアプローチは映画のセットアップ (AVA) に適用できますが、制約の少ない条件には適していません。
この制限を実証するために、Wilder Active Speaker Detection (WASD) データセットを提案します。現在の ASD の 2 つの重要なコンポーネントであるオーディオと顔をターゲットにすることで、難易度が上がります。
最適な条件から監視設定まで、5 つのカテゴリにグループ化された WASD には、音声と顔データの戦術的障害を伴う ASD の段階的な課題が含まれています。
最先端のモデルを選択し、WASD の 2 つのグループでパフォーマンスを評価します。イージー (協調設定) とハード (オーディオおよび/または顔が特に劣化)。
結果は次のことを示しています。1) AVA でトレーニングされたモデルは、WASD Easy グループでは最先端のパフォーマンスを維持していますが、Hard グループではパフォーマンスが低く、2) AVA と Easy データの類似性を示しています。
3) WASD でのトレーニングでは、モデルのパフォーマンスが AVA レベルまで向上しません。特に、音声障害や監視設定の場合はそうです。
これは、AVA が野生の ASD のモデルを準備しておらず、現在のアプローチがそのような条件に対処するには不十分であることを示しています。
提案されたデータセットには、ASD の新しいソースを提供するためのボディ データ アノテーションも含まれており、https://github.com/Tiago-Roxo/WASD で入手できます。

要約(オリジナル)

Current Active Speaker Detection (ASD) models achieve great results on AVA-ActiveSpeaker (AVA), using only sound and facial features. Although this approach is applicable in movie setups (AVA), it is not suited for less constrained conditions. To demonstrate this limitation, we propose a Wilder Active Speaker Detection (WASD) dataset, with increased difficulty by targeting the two key components of current ASD: audio and face. Grouped into 5 categories, ranging from optimal conditions to surveillance settings, WASD contains incremental challenges for ASD with tactical impairment of audio and face data. We select state-of-the-art models and assess their performance in two groups of WASD: Easy (cooperative settings) and Hard (audio and/or face are specifically degraded). The results show that: 1) AVA trained models maintain a state-of-the-art performance in WASD Easy group, while underperforming in the Hard one, showing the 2) similarity between AVA and Easy data; and 3) training in WASD does not improve models performance to AVA levels, particularly for audio impairment and surveillance settings. This shows that AVA does not prepare models for wild ASD and current approaches are subpar to deal with such conditions. The proposed dataset also contains body data annotations to provide a new source for ASD, and is available at https://github.com/Tiago-Roxo/WASD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google