Controllable Citation Sentence Generation with Language Models

要約

引用生成の目的は、原稿のコンテキストで選択された論文を参照する引用文を生成することです。
しかし、厳格な引用生成プロセスは、1) 背景情報の導入や結果の比較などの引用の意図、2) 引用テキストに出現するキーワードなど、特定の属性を制御したいという著者の願望と矛盾します。
引用生成中にこれらの程度の制御可能性を提供するために、原稿のコンテキスト、参照論文のコンテキスト、および必要な制御属性を構造化テンプレートに統合し、それを次の方法で言語モデル (LM) を微調整するために使用することを提案します。
トークン予測。
次に、近接ポリシー最適化を利用して、提案した制御性メトリックの高スコアを優先して LM を直接最適化します。
提案されたワークフローでは、引用属性の提案と条件付き引用の生成が 1 つの LM に調和して組み合わされており、ユーザーによる制御が向上します。

要約(オリジナル)

Citation generation aims to generate a citation sentence that refers to a chosen paper in the context of a manuscript. However, a rigid citation generation process is at odds with an author’s desire to control specific attributes, such as 1) the citation intent, e.g., either introducing background information or comparing results, and 2) keywords that should appear in the citation text. To provide these degrees of controllability during citation generation, we propose to integrate the manuscript context, the context of the referenced paper, and the desired control attributes into a structured template and use it to fine-tune a language model (LM) via next-token prediction. We then utilize Proximal Policy Optimization to directly optimize the LM in favor of a high score of our proposed controllability metric. The proposed workflow harmoniously combines citation attribute suggestion and conditional citation generation into one LM, allowing for better user control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google