Semi-Supervised Spoken Language Glossification

要約

音声言語の光沢化 (SLG) は、音声言語のテキストを手話の光沢、つまり手話の文字記録に翻訳することを目的としています。
この研究では、SLG 用の $S$emi-$S$supervised $S$poken $L$anguage $G$lossification ($S^3$LG) という名前のフレームワークを紹介します。
SLG における限られた並列データのボトルネックに取り組むために、$S^3$LG は大規模な単一言語音声言語テキストを SLG トレーニングに組み込みます。
提案されたフレームワークは、反復的に注釈を付け、疑似ラベルから学習する自己トレーニング構造に従っています。
手話と話し言葉の語彙的類似性と構文上の違いを考慮して、$S^3$LG は自動アノテーションにルールベースのヒューリスティックアプローチとモデルベースのアプローチの両方を採用しています。
トレーニング中に、これらの相補的な合成データセットをランダムに混合し、それらの違いを特別なトークンでマークします。
合成データの品質が低い可能性があるため、$S^3$LG はさらに一貫性正則化を利用して、合成データ内のノイズの悪影響を軽減します。
$S^3$LG の有効性を実証するために、公開ベンチマークで広範な実験が行われています。
コードは \url{https://github.com/yaohj11/S3LG} で入手できます。

要約(オリジナル)

Spoken language glossification (SLG) aims to translate the spoken language text into the sign language gloss, i.e., a written record of sign language. In this work, we present a framework named $S$emi-$S$upervised $S$poken $L$anguage $G$lossification ($S^3$LG) for SLG. To tackle the bottleneck of limited parallel data in SLG, our $S^3$LG incorporates large-scale monolingual spoken language text into SLG training. The proposed framework follows the self-training structure that iteratively annotates and learns from pseudo labels. Considering the lexical similarity and syntactic difference between sign language and spoken language, our $S^3$LG adopts both the rule-based heuristic and model-based approach for auto-annotation. During training, we randomly mix these complementary synthetic datasets and mark their differences with a special token. As the synthetic data may be less quality, the $S^3$LG further leverages consistency regularization to reduce the negative impact of noise in the synthetic data. Extensive experiments are conducted on public benchmarks to demonstrate the effectiveness of the $S^3$LG. Our code is available at \url{https://github.com/yaohj11/S3LG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google