Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder

要約

タイトル：デコーダーのみまたはエンコーダー・デコーダー？ 言語モデルを正則化されたエンコーダー・デコーダーとして解釈する

要約：

– seq2seqタスクは、与えられた入力元シーケンスに基づいてターゲットシーケンスを生成することを目的とする。
– 伝統的には、Encoder-Decoderフレームワークによって多くのseq2seqタスクが解決されてきたが、最近は、デコーダーのみの言語モデルをseq2seqタスクに直接適用する新しいアプローチが登場している。
– デコーダーのみの言語モデルのアーキテクチャの有効性について十分な分析がまだ不足しているため、本論文では正則化されたエンコーダー・デコーダー構造の分析を通じて、エンコーダー・デコーダーアーキテクチャとデコーダーのみの言語モデルフレームワークを詳細に比較することを目的としている。
– 分析に基づき、言語モデルの注目の退化問題が明らかになった。つまり、生成ステップ数が増えるにつれて、元のシーケンスに集中する注目が少なくなることを意味する。
– この問題の量的理解を与えるために、注目出力の源入力に対する理論的感度分析を行った。
– 分析に基づいて、注目の退化問題を解決するための新しい部分注目言語モデルを提案する。
– 機械翻訳、要約、データからテキストへの生成タスクでの実験結果は、我々の分析を支持し、提案されたモデルの効果を示している。

要約(オリジナル)

The sequence-to-sequence (seq2seq) task aims at generating the target sequence based on the given input source sequence. Traditionally, most of the seq2seq task is resolved by the Encoder-Decoder framework which requires an encoder to encode the source sequence and a decoder to generate the target text. Recently, a bunch of new approaches have emerged that apply decoder-only language models directly to the seq2seq task. Despite the significant advancements in applying language models to the seq2seq task, there is still a lack of thorough analysis on the effectiveness of the decoder-only language model architecture. This paper aims to address this gap by conducting a detailed comparison between the encoder-decoder architecture and the decoder-only language model framework through the analysis of a regularized encoder-decoder structure. This structure is designed to replicate all behaviors in the classical decoder-only language model but has an encoder and a decoder making it easier to be compared with the classical encoder-decoder structure. Based on the analysis, we unveil the attention degeneration problem in the language model, namely, as the generation step number grows, less and less attention is focused on the source sequence. To give a quantitative understanding of this problem, we conduct a theoretical sensitivity analysis of the attention output with respect to the source input. Grounded on our analysis, we propose a novel partial attention language model to solve the attention degeneration problem. Experimental results on machine translation, summarization, and data-to-text generation tasks support our analysis and demonstrate the effectiveness of our proposed model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI