A Survey on Long Text Modeling with Transformers

要約

長いテキストのモデリングは、自然言語処理 (NLP) の分野で不可欠な手法です。
長いドキュメントの数が増え続ける中、そのようなテキストを処理および分析できる効果的なモデリング手法を開発することが重要です。
ただし、長いテキストは、より複雑なセマンティクスと特殊な特性を持つ既存のテキスト モデルに重要な研究課題をもたらします。
このホワイト ペーパーでは、Transformer モデルに基づく長いテキスト モデリングに関する最近の進歩の概要を説明します。
まず、長いテキスト モデリングの正式な定義を紹介します。
次に、中心的な内容として、長い入力を処理して長さの制限を満たす方法と、改善された Transformer アーキテクチャを設計して最大コンテキスト長を効果的に拡張する方法について説明します。
これに続いて、Transformer モデルを適応させて長いテキストの特殊な特性を捉える方法について説明します。
最後に、長文モデリングを含む 4 つの典型的なアプリケーションについて説明し、将来の方向性について議論してこの論文を締めくくります。
私たちの調査は、長いテキストのモデリングに関する関連研究への統合と指針を研究者に提供することを目的としています。

要約(オリジナル)

Modeling long texts has been an essential technique in the field of natural language processing (NLP). With the ever-growing number of long documents, it is important to develop effective modeling methods that can process and analyze such texts. However, long texts pose important research challenges for existing text models, with more complex semantics and special characteristics. In this paper, we provide an overview of the recent advances on long texts modeling based on Transformer models. Firstly, we introduce the formal definition of long text modeling. Then, as the core content, we discuss how to process long input to satisfy the length limitation and design improved Transformer architectures to effectively extend the maximum context length. Following this, we discuss how to adapt Transformer models to capture the special characteristics of long texts. Finally, we describe four typical applications involving long text modeling and conclude this paper with a discussion of future directions. Our survey intends to provide researchers with a synthesis and pointer to related work on long text modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google