Dont Add, dont Miss: Effective Content Preserving Generation from Pre-Selected Text Spans

要約

最近導入された Controlled Text Reduction (CTR) タスクは、典型的な要約スタイルのタスク内でテキスト生成ステップを分離します。
これは、入力テキスト内で事前に選択されたコンテンツ (「ハイライト」) に準拠した一貫したテキストを生成するようモデルに挑戦することによって実現されます。
このフレーミングにより、要約のようなタスクのモジュール性が向上し、単一の CTR モデルをさまざまなコンテンツ選択セットアップおよびモジュールと結合できるようになります。
ただし、現時点では信頼できる CTR モデルはなく、タスクの既存のベースラインのパフォーマンスは平凡で実用性には達していません。
ここでは、コンテンツ保存制約の不適切な適用と次善のシルバー トレーニング データという、以前の 2 つの主要な制限に対処する高品質のオープンソース CTR モデルを導入することで、このギャップに対処します。
これらに対処するために、RL を介したトレーニングと、制御されたデコード戦略を介した推論の両方でコンテンツ保存の制約を増幅します。
さらに、GPT-4 蒸留によってシルバー トレーニング データの品質を大幅に向上させます。
全体として、抽出されたデータセットとハイライト順守戦略を組み合わせると、現在のベースラインに対して最大 30 ROUGE-L ポイントの顕著な向上が得られ、下流での使用に信頼性の高い CTR モデルが提供されます。

要約(オリジナル)

The recently introduced Controlled Text Reduction (CTR) task isolates the text generation step within typical summarization-style tasks. It does so by challenging models to generate coherent text conforming to pre-selected content within the input text (‘highlights’). This framing enables increased modularity in summarization-like tasks, allowing to couple a single CTR model with various content-selection setups and modules. However, there are currently no reliable CTR models, while the performance of the existing baseline for the task is mediocre, falling short of practical utility. Here, we address this gap by introducing a high-quality, open-source CTR model that tackles two prior key limitations: inadequate enforcement of the content-preservation constraint, and suboptimal silver training data. Addressing these, we amplify the content-preservation constraint in both training, via RL, and inference, via a controlled decoding strategy. Further, we substantially improve the silver training data quality via GPT-4 distillation. Overall, pairing the distilled dataset with the highlight-adherence strategies yields marked gains over the current baseline, of up to 30 ROUGE-L points, providing a reliable CTR model for downstream use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google