Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges

要約

テキスト生成はこれまで以上にアクセスしやすくなり、これらのシステム、特に大規模な言語モデルを使用するシステムへの関心の高まりにより、関連出版物の数が増加しています。
私たちは、2017 年から 2024 年までに選ばれた 244 件の論文からなる体系的な文献レビューを提供します。このレビューでは、テキスト生成の作業が、自由形式のテキスト生成、要約、翻訳、言い換え、質問応答という 5 つの主要なタスクに分類されます。
各タスクについて、関連する特性、サブタスク、および特定の課題 (複数の文書を要約するためのデータセットの不足、ストーリー生成の一貫性、質問応答の複雑な推論など) をレビューします。
さらに、テキスト生成システムを評価するための現在のアプローチを評価し、現在の指標の問題を確認します。
私たちの調査では、最近のテキスト生成出版物のすべてのタスクとサブタスクに共通する 9 つの顕著な課題 (偏見、推論、幻覚、誤用、プライバシー、解釈可能性、透明性、データセット、およびコンピューティング) を示しています。
これらの課題とその潜在的な解決策、さらにコミュニティからのさらなる関与が必要なギャップについて詳細な分析を提供します。
この系統的な文献レビューは、主に 2 つの対象者を対象としています。1 つは、この分野の概要と有望な研究の方向性を求めている自然言語処理の初期の研究者、もう 1 つはタスク、評価手法、未解決の課題、および最近の緩和戦略の詳細を求める経験豊富な研究者です。
。

要約(オリジナル)

Text generation has become more accessible than ever, and the increasing interest in these systems, especially those using large language models, has spurred an increasing number of related publications. We provide a systematic literature review comprising 244 selected papers between 2017 and 2024. This review categorizes works in text generation into five main tasks: open-ended text generation, summarization, translation, paraphrasing, and question answering. For each task, we review their relevant characteristics, sub-tasks, and specific challenges (e.g., missing datasets for multi-document summarization, coherence in story generation, and complex reasoning for question answering). Additionally, we assess current approaches for evaluating text generation systems and ascertain problems with current metrics. Our investigation shows nine prominent challenges common to all tasks and sub-tasks in recent text generation publications: bias, reasoning, hallucinations, misuse, privacy, interpretability, transparency, datasets, and computing. We provide a detailed analysis of these challenges, their potential solutions, and which gaps still require further engagement from the community. This systematic literature review targets two main audiences: early career researchers in natural language processing looking for an overview of the field and promising research directions, as well as experienced researchers seeking a detailed view of tasks, evaluation methodologies, open challenges, and recent mitigation strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google