Efficient Sequence Transduction by Jointly Predicting Tokens and Durations

要約

タイトル：トークンと期間を共同予測することによる効率的なシーケンス変換

要約：

– この論文は、シーケンス変換のための新しいToken-and-Duration Transducer（TDT）アーキテクチャを紹介している。
– TDTは、トークンとその期間、つまり発生トークンでカバーされる入力フレームの数を同時に予測することによって、従来のRNN-Transducerアーキテクチャを拡張している。
– これは、2つの出力を使用して行われ、トークンと期間の両方の分布を生成するために独立して正規化される共同ネットワークを使用することによって達成される。
– 推論中、TDTモデルは、予測された期間出力によって指示された入力フレームをスキップできるため、エンコーダー出力をフレームごとに処理する従来のTransducerよりも大幅に高速である。
– TDTモデルは、異なるシーケンス変換タスクにおいて、従来のTransducerよりも優れた精度と大幅に高速な推論を達成する。
– 音声認識のTDTモデルは、RNN-Transducerよりも優れた精度と最大2.82倍の高速な推論を達成する。
– 音声翻訳のTDTモデルは、MUST-Cテストで従来のTransducerと比較して絶対的な1 BLEU以上の利点を達成し、推論速度は2.27倍になる。
– 音声意図分類とスロット充填タスクでは、TDTモデルは従来のTransducerに比べて最大1%（絶対値）以上の意図精度向上を実現し、最大1.28倍の高速な実行を行う。

要約(オリジナル)

This paper introduces a novel Token-and-Duration Transducer (TDT) architecture for sequence-to-sequence tasks. TDT extends conventional RNN-Transducer architectures by jointly predicting both a token and its duration, i.e. the number of input frames covered by the emitted token. This is achieved by using a joint network with two outputs which are independently normalized to generate distributions over tokens and durations. During inference, TDT models can skip input frames guided by the predicted duration output, which makes them significantly faster than conventional Transducers which process the encoder output frame by frame. TDT models achieve both better accuracy and significantly faster inference than conventional Transducers on different sequence transduction tasks. TDT models for Speech Recognition achieve better accuracy and up to 2.82X faster inference than RNN-Transducers. TDT models for Speech Translation achieve an absolute gain of over 1 BLEU on the MUST-C test compared with conventional Transducers, and its inference is 2.27X faster. In Speech Intent Classification and Slot Filling tasks, TDT models improve the intent accuracy up to over 1% (absolute) over conventional Transducers, while running up to 1.28X faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI