Two-Stream Network for Sign Language Recognition and Translation

要約

手話は、手話と非手話要素を使用して情報を伝える視覚言語です。
手話の認識と翻訳の場合、既存のアプローチの大半は、RGB ビデオを隠し表現に直接エンコードします。
ただし、RGB ビデオは実質的な視覚的冗長性を持つ生の信号であるため、エンコーダーは手話理解のための重要な情報を見落としてしまいます。
この問題を軽減し、手の形や体の動きなどのドメイン知識をより適切に組み込むために、生のビデオと市販のキーポイント推定器によって生成されたキーポイント シーケンスの両方をモデル化する 2 つの個別のストリームを含むデュアル ビジュアル エンコーダーを導入します。
2 つのストリームが相互に作用するようにするために、双方向のラテラル接続、補助監督を伴うサイン ピラミッド ネットワーク、フレームレベルの自己蒸留など、さまざまな手法を検討します。
結果として得られるモデルは、TwoStream-SLR と呼ばれ、手話認識 (SLR) に適しています。
TwoStream-SLR は、追加の翻訳ネットワークを接続するだけで、手話翻訳 (SLT) モデルである TwoStream-SLT に拡張されます。
実験的に、TwoStream-SLR と TwoStream-SLT は、Phoenix-2014、Phoenix-2014T、および CSL-Daily を含む一連のデータセット全体で、SLR および SLT タスクで最先端のパフォーマンスを達成します。

要約(オリジナル)

Sign languages are visual languages using manual articulations and non-manual elements to convey information. For sign language recognition and translation, the majority of existing approaches directly encode RGB videos into hidden representations. RGB videos, however, are raw signals with substantial visual redundancy, leading the encoder to overlook the key information for sign language understanding. To mitigate this problem and better incorporate domain knowledge, such as handshape and body movement, we introduce a dual visual encoder containing two separate streams to model both the raw videos and the keypoint sequences generated by an off-the-shelf keypoint estimator. To make the two streams interact with each other, we explore a variety of techniques, including bidirectional lateral connection, sign pyramid network with auxiliary supervision, and frame-level self-distillation. The resulting model is called TwoStream-SLR, which is competent for sign language recognition (SLR). TwoStream-SLR is extended to a sign language translation (SLT) model, TwoStream-SLT, by simply attaching an extra translation network. Experimentally, our TwoStream-SLR and TwoStream-SLT achieve state-of-the-art performance on SLR and SLT tasks across a series of datasets including Phoenix-2014, Phoenix-2014T, and CSL-Daily.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google