Signing Outside the Studio: Benchmarking Background Robustness for Continuous Sign Language Recognition

要約

この作業の目標は、バックグラウンド ロバストな継続的な手話認識です。
既存の連続手話認識 (CSLR) ベンチマークのほとんどは背景が固定されており、静的な単色背景のスタジオで撮影されています。
ただし、署名は現実世界のスタジオだけに限定されません。
バックグラウンド シフト下での CSLR モデルの堅牢性を分析するために、まず、多様なバックグラウンドで既存の最先端の CSLR モデルを評価します。
さまざまな背景を持つ標識ビデオを合成するために、既存の CSLR ベンチマークを利用してベンチマーク データセットを自動的に生成するパイプラインを提案します。
新しく構築されたベンチマーク データセットは、現実世界の環境をシミュレートするためのさまざまなシーンで構成されています。
最新の CSLR メソッドでさえ、背景が変更された新しいデータセットの光沢をうまく認識できないことがわかりました。
この点に関して、(1) バックグラウンドのランダム化と (2) CSLR モデルの機能のもつれの解消を含む、シンプルでありながら効果的なトレーニング スキームも提案します。
データセットの実験結果は、追加のトレーニング画像を最小限に抑えて、他の目に見えない背景データにこの方法がうまく一般化できることを示しています。

要約(オリジナル)

The goal of this work is background-robust continuous sign language recognition. Most existing Continuous Sign Language Recognition (CSLR) benchmarks have fixed backgrounds and are filmed in studios with a static monochromatic background. However, signing is not limited only to studios in the real world. In order to analyze the robustness of CSLR models under background shifts, we first evaluate existing state-of-the-art CSLR models on diverse backgrounds. To synthesize the sign videos with a variety of backgrounds, we propose a pipeline to automatically generate a benchmark dataset utilizing existing CSLR benchmarks. Our newly constructed benchmark dataset consists of diverse scenes to simulate a real-world environment. We observe even the most recent CSLR method cannot recognize glosses well on our new dataset with changed backgrounds. In this regard, we also propose a simple yet effective training scheme including (1) background randomization and (2) feature disentanglement for CSLR models. The experimental results on our dataset demonstrate that our method generalizes well to other unseen background data with minimal additional training images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google