Who Needs Decoders? Efficient Estimation of Sequence-level Attributes

要約

タイトル：デコーダーは必要ですか？シーケンスレベルの属性の効率的な推定
要約：
– シーケンスからシーケンスへの最先端モデルでは、自己回帰的デコーディングが必要であるため、非常に高価になる場合がある。
– ただし、OOD検出やリソース割り当てなど、実際にデコーディング出力が必要ではなく、このシーケンスのスカラー属性のみが必要な場合があります。
– これらのシナリオでは、システムの出力の品質を知ることが、出力自体を知ることよりも優先されるため、自己回帰的デコーディングをバイパスすることが可能です。
– エンコーディングから直接これらのメトリックを予測することができる「非自己回帰プロキシ（NAP）」モデルを提案します。これにより、高価な自己回帰デコーディング段階を回避できます。
– 機械翻訳（MT）および自動音声認識（ASR）の2つのシーケンスからシーケンスへのタスクを考慮します。MTのOODでは、NAPは深いアンサンブルを上回り、かつ著しく高速です。
– NAPはBERTScore（MT）や誤認識率（ASR）などの性能メトリックを予測することができます。NAPは、高い推論効率を備えつつ予測の不確実性を上回る性能予測を生成するため、データフィルタリングやリソース最適化などのダウンストリームタスクに適しています。

要約(オリジナル)

State-of-the-art sequence-to-sequence models often require autoregressive decoding, which can be highly expensive. However, for some downstream tasks such as out-of-distribution (OOD) detection and resource allocation, the actual decoding output is not needed just a scalar attribute of this sequence. In these scenarios, where for example knowing the quality of a system’s output to predict poor performance prevails over knowing the output itself, is it possible to bypass the autoregressive decoding? We propose Non-Autoregressive Proxy (NAP) models that can efficiently predict general scalar-valued sequence-level attributes. Importantly, NAPs predict these metrics directly from the encodings, avoiding the expensive autoregressive decoding stage. We consider two sequence-to-sequence task: Machine Translation (MT); and Automatic Speech Recognition (ASR). In OOD for MT, NAPs outperform a deep ensemble while being significantly faster. NAPs are also shown to be able to predict performance metrics such as BERTScore (MT) or word error rate (ASR). For downstream tasks, such as data filtering and resource optimization, NAPs generate performance predictions that outperform predictive uncertainty while being highly inference efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI