On the Importance of Signer Overlap for Sign Language Detection

要約

誰かが署名しているかどうかを識別する手話検出は、リモート会議ソフトウェアでのアプリケーションや、手話認識または翻訳タスクのトレーニングに役立つ手話データを選択するために非常に重要になっています。
手話検出の現在のベンチマーク データ セットは、トレーニング パーティションとテスト パーティションの間で署名者が重複しているため、一般化できない過度に肯定的な結果を見積もっていると主張します。
現在の署名検出ベンチマーク データ セットに対する署名者の重複の影響を詳細に分析することで、これを定量化します。
DGS コーパスと Signing in the Wild の重複がある場合とない場合の精度を比較すると、それぞれ 4.17% と 6.27% の精度の相対的な低下が観察されました。
さらに、オーバーラップがなく、より現実的なパフォーマンス評価を可能にする新しいデータ セット パーティションを提案します。
この作業が、手話検出システムの精度向上と一般化に貢献することを願っています。

要約(オリジナル)

Sign language detection, identifying if someone is signing or not, is becoming crucially important for its applications in remote conferencing software and for selecting useful sign data for training sign language recognition or translation tasks. We argue that the current benchmark data sets for sign language detection estimate overly positive results that do not generalize well due to signer overlap between train and test partitions. We quantify this with a detailed analysis of the effect of signer overlap on current sign detection benchmark data sets. Comparing accuracy with and without overlap on the DGS corpus and Signing in the Wild, we observed a relative decrease in accuracy of 4.17% and 6.27%, respectively. Furthermore, we propose new data set partitions that are free of overlap and allow for more realistic performance assessment. We hope this work will contribute to improving the accuracy and generalization of sign language detection systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google