Recurrent Attention Networks for Long-text Modeling

要約

自己注意ベースのモデルは、短文マイニングにおいて目覚ましい進歩を遂げました。
ただし、二次計算の複雑さにより、長いテキスト処理への応用が制限されます。
これまでの研究では、長い文書をチャンクに分割し、自己注意のバックボーンと反復構造を積み重ねて意味表現を抽出するチャンキング戦略が採用されていました。
このようなアプローチでは、アテンション メカニズムの並列化が無効になり、トレーニング コストが大幅に増加し、ハードウェア要件が増加します。
セルフ・アテンションのメカニズムとリカレント構造を再考して、この論文は、セルフ・アテンションの反復操作を可能にする新しい長い文書符号化モデルであるリカレント・アテンション・ネットワーク(RAN)を提案します。
両方の利点を組み合わせることで、適切に設計された RAN は、トークン レベルとドキュメント レベルの両方の表現でグローバル セマンティクスを抽出でき、それぞれ逐次タスクと分類タスクの両方に本質的に互換性があります。
さらに、RAN は長いドキュメント処理の並列化をサポートするため、計算的にスケーラブルです。
広範な実験により、提案された RAN モデルの長文符号化能力が分類タスクと逐次タスクの両方で実証され、幅広いアプリケーションへの可能性が示されました。

要約(オリジナル)

Self-attention-based models have achieved remarkable progress in short-text mining. However, the quadratic computational complexities restrict their application in long text processing. Prior works have adopted the chunking strategy to divide long documents into chunks and stack a self-attention backbone with the recurrent structure to extract semantic representation. Such an approach disables parallelization of the attention mechanism, significantly increasing the training cost and raising hardware requirements. Revisiting the self-attention mechanism and the recurrent structure, this paper proposes a novel long-document encoding model, Recurrent Attention Network (RAN), to enable the recurrent operation of self-attention. Combining the advantages from both sides, the well-designed RAN is capable of extracting global semantics in both token-level and document-level representations, making it inherently compatible with both sequential and classification tasks, respectively. Furthermore, RAN is computationally scalable as it supports parallelization on long document processing. Extensive experiments demonstrate the long-text encoding ability of the proposed RAN model on both classification and sequential tasks, showing its potential for a wide range of applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google