VTechAGP: An Academic-to-General-Audience Text Paraphrase Dataset and Benchmark Models

要約

既存のテキストの簡略化または言い換えデータセットは、主に一般的な領域での文レベルのテキスト生成に焦点を当てています。
これらのデータセットは通常、ドメインの知識を使用せずに開発されます。
この論文では、新しいデータセットである VTechAGP をリリースします。これは、25 年間にわたって執筆された 8 つの大学からの 4,938 件の文書レベルのこれらと論文の学術論文および一般聴衆向けの要約ペアで構成される、初の学術界から一般聴衆向けのテキスト言い換えデータセットです。
また、新しい動的ソフト プロンプト生成言語モデル DSPT5 も提案します。
トレーニングでは、対照生成損失関数を利用して、動的プロンプト内のキーワード ベクトルを学習します。
推論のために、セマンティック レベルと構造レベルの両方でクラウド サンプリング デコード戦略を採用し、最適な出力候補をさらに選択します。
私たちは、DSPT5 とさまざまな最先端の大規模言語モデル (LLM) を複数の観点から評価します。
結果は、SOTA LLM では満足のいく結果が得られないのに対し、軽量の DSPT5 は競争力のある結果を達成できることを示しています。
私たちの知る限り、私たちは学者から一般読者までを対象としたテキスト言い換えデータセットのベンチマーク データセットとソリューションを構築した最初の企業です。

要約(オリジナル)

Existing text simplification or paraphrase datasets mainly focus on sentence-level text generation in a general domain. These datasets are typically developed without using domain knowledge. In this paper, we release a novel dataset, VTechAGP, which is the first academic-to-general-audience text paraphrase dataset consisting of 4,938 document-level these and dissertation academic and general-audience abstract pairs from 8 colleges authored over 25 years. We also propose a novel dynamic soft prompt generative language model, DSPT5. For training, we leverage a contrastive-generative loss function to learn the keyword vectors in the dynamic prompt. For inference, we adopt a crowd-sampling decoding strategy at both semantic and structural levels to further select the best output candidate. We evaluate DSPT5 and various state-of-the-art large language models (LLMs) from multiple perspectives. Results demonstrate that the SOTA LLMs does not provide satisfactory outcomes, while the lightweight DSPT5 can achieve competitive results. To the best of our knowledge, we are the first to build a benchmark dataset and solutions for academic-to-general-audience text paraphrase dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google