Sentiment analysis with adaptive multi-head attention in Transformer

要約

我々は、映画レビュー文書の感情を識別するためのアテンションメカニズムに基づいた新しいフレームワークを提案します。
アテンション メカニズムを備えたディープ ニューラル ネットワークに関するこれまでの取り組みは、固定数のマルチヘッド アテンションを持つエンコーダとデコーダに焦点を当てていました。
したがって、メモリから有用な情報を読み取れなくなった場合にアテンションプロセスを自動的に停止するメカニズムが必要です。本論文では、長さに基づいてアテンションヘッドの数を変える適応型マルチヘッドアテンションアーキテクチャ（AdaptAttn）を提案します。
文章の。
AdaptAttn には、各文書が文の長さに基づいて小、中、大の 3 つのビンのいずれか 1 つに分類されるデータ前処理ステップがあります。
小として分類されたドキュメントは各層で 2 つのヘッドを通過し、中グループは 4 つのヘッドを通過し、大グループは 8 つのヘッドで処理されます。
スタンフォードの大規模な映画レビュー データセットに関するモデルのメリットを検証します。
実験結果は、私たちのモデルの F1 スコアがベースライン モデルと同等であることを示しています。

要約(オリジナル)

We propose a novel framework based on the attention mechanism to identify the sentiment of a movie review document. Previous efforts on deep neural networks with attention mechanisms focus on encoder and decoder with fixed numbers of multi-head attention. Therefore, we need a mechanism to stop the attention process automatically if no more useful information can be read from the memory.In this paper, we propose an adaptive multi-head attention architecture (AdaptAttn) which varies the number of attention heads based on length of sentences. AdaptAttn has a data preprocessing step where each document is classified into any one of the three bins small, medium or large based on length of the sentence. The document classified as small goes through two heads in each layer, the medium group passes four heads and the large group is processed by eight heads. We examine the merit of our model on the Stanford large movie review dataset. The experimental results show that the F1 score from our model is on par with the baseline model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google