Learning to Plan and Generate Text with Citations

要約

情報探索シナリオでの LLM の展開に対する需要の高まりにより、クエリに対する応答と裏付けとなる証拠を生成する検証可能なシステムを作成する取り組みが加速しています。
このペーパーでは、生成されたテキストの忠実性、根拠、および制御性を向上させることが最近示されたプランベース モデルの帰属機能を調査します。
私たちは、生成されたコンテンツとその構成の青写真として機能する一連の質問として計画を概念化します。
私たちは、ブループリントの異なるバリアントを利用する 2 つのアトリビューション モデル、つまり質問を最初から生成する抽象モデルと、質問が入力からコピーされる抽出モデルを提案します。
長文の質問応答に関する実験では、計画を立てることでアトリビューションの質が一貫して向上することが示されています。
さらに、ブループリント モデルによって生成された引用は、計画コンポーネントのない LLM ベースのパイプラインから取得された引用と比較して、より正確です。

要約(オリジナル)

The increasing demand for the deployment of LLMs in information-seeking scenarios has spurred efforts in creating verifiable systems, which generate responses to queries along with supporting evidence. In this paper, we explore the attribution capabilities of plan-based models which have been recently shown to improve the faithfulness, grounding, and controllability of generated text. We conceptualize plans as a sequence of questions which serve as blueprints of the generated content and its organization. We propose two attribution models that utilize different variants of blueprints, an abstractive model where questions are generated from scratch, and an extractive model where questions are copied from the input. Experiments on long-form question-answering show that planning consistently improves attribution quality. Moreover, the citations generated by blueprint models are more accurate compared to those obtained from LLM-based pipelines lacking a planning component.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google