SentBS: Sentence-level Beam Search for Controllable Summarization

要約

制御可能なテキスト生成では、幅広い制御の観点が検討されてきました。
構造制御要約は、有用で興味深い研究の方向性として最近提案されています。
しかしながら、現在の構造制御方法は、所望の構造を強化する上での有効性が限られている。
この制限に対処するために、文レベルのビーム検索生成方法 (SentBS) を提案します。この方法では、生成プロセス全体で評価が行われ、後続の世代に適した文が選択されます。
SentBS によってサブコンポーネントとして使用されるデコード方法のさまざまな組み合わせを実験し、構造制御されたデータセット MReD で結果を評価します。
実験によると、SentBS の探索されたすべての組み合わせが、生成されたテキストと目的の構造との間の一致を改善できることが示されています。最適な方法では、既存のモデルが被る構造の不一致が約 68% 大幅に削減されます。

要約(オリジナル)

A wide range of control perspectives have been explored in controllable text generation. Structure-controlled summarization is recently proposed as a useful and interesting research direction. However, current structure-controlling methods have limited effectiveness in enforcing the desired structure. To address this limitation, we propose a sentence-level beam search generation method (SentBS), where evaluation is conducted throughout the generation process to select suitable sentences for subsequent generations. We experiment with different combinations of decoding methods to be used as subcomponents by SentBS and evaluate results on the structure-controlled dataset MReD. Experiments show that all explored combinations for SentBS can improve the agreement between the generated text and the desired structure, with the best method significantly reducing the structural discrepancies suffered by the existing model, by approximately 68%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google