Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse

要約

手話翻訳 (SLT) は、文法や単語/光沢順序が異なる手話ビデオから音声言語の文を生成することを目的とした、やりがいのあるタスクです。
ニューラル機械翻訳 (NMT) の観点から見ると、翻訳モデルをトレーニングする簡単な方法は、手話フレーズと話し言葉の文のペアを使用することです。
しかし、人間の通訳者は、特に手話通訳の場合、語彙サイズが同等の話し言葉よりも大幅に小さい場合があるため、伝達された情報を理解するために文脈に大きく依存します。
人間が翻訳する方法から直接インスピレーションを得て、人間と同じようにコンテキストを意識した方法で翻訳タスクに取り組む、新しいマルチモーダル変換アーキテクチャを提案します。
以前のシーケンスからのコンテキストと信頼性の高い予測を使用して、弱い視覚的手がかりを明確にします。
これを実現するために、相補的なトランスフォーマー エンコーダーを使用します。つまり、(1) 低レベルのビデオ特徴をフレーム レベルでキャプチャするビデオ エンコーダー、(2) ビデオ内で認識された標識の光沢をモデル化するスポッティング エンコーダー、および
(3) コンテキスト エンコーダ。先行する記号シーケンスのコンテキストをキャプチャします。
これらのエンコーダーから得られる情報を最終的なトランスフォーマー デコーダーで組み合わせて、音声言語の翻訳を生成します。
私たちは、最近公開された最大 120 万のシーケンスを含む大規模な BOBSL データセットと、WMT-SLT 2022 チャレンジの一部である SRF データセットに対するアプローチを評価します。
コンテキスト情報を使用した最先端の翻訳パフォーマンスが大幅に向上し、報告されているベースライン アプローチの BLEU-4 スコアのほぼ 2 倍になったことを報告します。

要約(オリジナル)

Sign Language Translation (SLT) is a challenging task that aims to generate spoken language sentences from sign language videos, both of which have different grammar and word/gloss order. From a Neural Machine Translation (NMT) perspective, the straightforward way of training translation models is to use sign language phrase-spoken language sentence pairs. However, human interpreters heavily rely on the context to understand the conveyed information, especially for sign language interpretation, where the vocabulary size may be significantly smaller than their spoken language equivalent. Taking direct inspiration from how humans translate, we propose a novel multi-modal transformer architecture that tackles the translation task in a context-aware manner, as a human would. We use the context from previous sequences and confident predictions to disambiguate weaker visual cues. To achieve this we use complementary transformer encoders, namely: (1) A Video Encoder, that captures the low-level video features at the frame-level, (2) A Spotting Encoder, that models the recognized sign glosses in the video, and (3) A Context Encoder, which captures the context of the preceding sign sequences. We combine the information coming from these encoders in a final transformer decoder to generate spoken language translations. We evaluate our approach on the recently published large-scale BOBSL dataset, which contains ~1.2M sequences, and on the SRF dataset, which was part of the WMT-SLT 2022 challenge. We report significant improvements on state-of-the-art translation performance using contextual information, nearly doubling the reported BLEU-4 scores of baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google