Challenges in Domain-Specific Abstractive Summarization and How to Overcome them

要約

大規模言語モデルは、汎用データや自然言語処理の多くのタスクで非常にうまく機能します。
ただし、ドメイン固有の抽象的なテキストの要約などのタスクに使用すると、いくつかの制限が生じます。
この論文では、これらの制限のうち 3 つを、抽象的なテキスト要約の文脈における研究問題として特定します。 1) 入力テキストの長さに関するトランスフォーマーベースのモデルの 2 次複雑さ。
2) モデル幻覚。事実に誤りのあるテキストを生成するモデルの能力です。
3) ドメイン シフト。モデルのトレーニング コーパスとテスト コーパスの分布が同じでない場合に発生します。
この論文では、研究の未解決の疑問についての議論に加えて、研究のギャップに対処するための分野固有のテキスト要約に関連する既存の最先端技術の評価も提供します。

要約(オリジナル)

Large Language Models work quite well with general-purpose data and many tasks in Natural Language Processing. However, they show several limitations when used for a task such as domain-specific abstractive text summarization. This paper identifies three of those limitations as research problems in the context of abstractive text summarization: 1) Quadratic complexity of transformer-based models with respect to the input text length; 2) Model Hallucination, which is a model’s ability to generate factually incorrect text; and 3) Domain Shift, which happens when the distribution of the model’s training and test corpus is not the same. Along with a discussion of the open research questions, this paper also provides an assessment of existing state-of-the-art techniques relevant to domain-specific text summarization to address the research gaps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google