Unified Segment-to-Segment Framework for Simultaneous Sequence Generation

要約

同時シーケンス生成は、ストリーミング音声認識、同時機械翻訳、同時音声翻訳などのリアルタイム シナリオにとって極めて重要なタスクであり、ソース シーケンスを受信しながらターゲット シーケンスが生成されます。
低レイテンシで高品質な生成を達成するための核心は、ソース シーケンスとターゲット シーケンスの間のマッピングを学習することによって達成される、生成の最適な瞬間を特定することにあります。
ただし、既存の手法は、さまざまなシーケンス タイプに対するタスク固有のヒューリスティックに依存することが多く、ソースとターゲットのマッピングを適応的に学習するモデルの能力が制限され、さまざまな同時タスクに対するマルチタスク学習の探索が妨げられます。
この論文では、適応的かつ統合的な方法でマッピングを学習する同時シーケンス生成のための統合セグメント間フレームワーク (Seg2Seg) を提案します。
同時生成のプロセス中、モデルはソース セグメントの待機とターゲット セグメントの生成を交互に行い、セグメントがソースとターゲットの間の自然なブリッジとして機能します。
これを達成するために、Seg2Seg はソースからターゲット間のピボットとして潜在セグメントを導入し、提案された期待値トレーニングを通じて潜在的なソースとターゲットのマッピングをすべて探索し、それによって生成に最適な瞬間を学習します。
複数の同時生成タスクに関する実験では、Seg2Seg が最先端のパフォーマンスを達成し、さまざまなタスクにわたって優れた汎用性を示すことが実証されました。

要約(オリジナル)

Simultaneous sequence generation is a pivotal task for real-time scenarios, such as streaming speech recognition, simultaneous machine translation and simultaneous speech translation, where the target sequence is generated while receiving the source sequence. The crux of achieving high-quality generation with low latency lies in identifying the optimal moments for generating, accomplished by learning a mapping between the source and target sequences. However, existing methods often rely on task-specific heuristics for different sequence types, limiting the model’s capacity to adaptively learn the source-target mapping and hindering the exploration of multi-task learning for various simultaneous tasks. In this paper, we propose a unified segment-to-segment framework (Seg2Seg) for simultaneous sequence generation, which learns the mapping in an adaptive and unified manner. During the process of simultaneous generation, the model alternates between waiting for a source segment and generating a target segment, making the segment serve as the natural bridge between the source and target. To accomplish this, Seg2Seg introduces a latent segment as the pivot between source to target and explores all potential source-target mappings via the proposed expectation training, thereby learning the optimal moments for generating. Experiments on multiple simultaneous generation tasks demonstrate that Seg2Seg achieves state-of-the-art performance and exhibits better generality across various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google