Towards Incremental Transformers: An Empirical Analysis of Transformer Models for Incremental NLU

要約

インクリメンタル処理により、対話型システムが部分入力に基づいて応答できるようになります。これは望ましい特性です。
対話エージェントで。
現在一般的な Transformer アーキテクチャは本質的にシーケンスを全体として処理し、時間の概念を抽象化します。
最近の研究では、部分的な出力を生成するために、変更されていないモデルにますます長い入力プレフィックスを繰り返し供給することにより、再起動増分性を介して Transformers を段階的に適用しようとしています。
ただし、このアプローチは計算コストが高く、長いシーケンスに対して効率的に拡張できません。
並行して、トランスフォーマーの効率を高める取り組みも目の当たりにしています。
回帰機構を備えたリニアトランス (LT)。
この研究では、英語でのインクリメンタル NLU の LT の実現可能性を検証します。
私たちの結果は、再帰的 LT モデルは、非増分 (フル シーケンス) 品質の一部を犠牲にして、再起動増分性を備えた標準の Transformer および LT と比較して、増分パフォーマンスが向上し、推論速度が速いことを示しています。
出力にコミットする前に適切なコンテキストを待機するようにモデルをトレーニングすることでパフォーマンスの低下を軽減できること、および入力プレフィックスを使用したトレーニングが正しい部分出力を提供するのに有益であることを示します。

要約(オリジナル)

Incremental processing allows interactive systems to respond based on partial inputs, which is a desirable property e.g. in dialogue agents. The currently popular Transformer architecture inherently processes sequences as a whole, abstracting away the notion of time. Recent work attempts to apply Transformers incrementally via restart-incrementality by repeatedly feeding, to an unchanged model, increasingly longer input prefixes to produce partial outputs. However, this approach is computationally costly and does not scale efficiently for long sequences. In parallel, we witness efforts to make Transformers more efficient, e.g. the Linear Transformer (LT) with a recurrence mechanism. In this work, we examine the feasibility of LT for incremental NLU in English. Our results show that the recurrent LT model has better incremental performance and faster inference speed compared to the standard Transformer and LT with restart-incrementality, at the cost of part of the non-incremental (full sequence) quality. We show that the performance drop can be mitigated by training the model to wait for right context before committing to an output and that training with input prefixes is beneficial for delivering correct partial outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google