ChatGPT-steered Editing Instructor for Customization of Abstractive Summarization

要約

タイトル：ChatGPTを活用した抽象化要約のカスタマイズに向けた編集インストラクター

要約：
– ChatGPTのような大規模言語モデルの出力を、特定の利用者ニーズに合わせてカスタマイズすることは、その高品質にも関わらず、未だ課題である。
– 本論文では、出力カスタマイズを強化するために、生成者、インストラクター、編集者の三者生成パイプラインを提案する。
– 生成者は初期出力を生成し、利用者特定インストラクターは編集指示を生成し、編集者は利用者ニーズに合わせた改訂出力を生成する。
– 推論専用の大規模言語モデル(ChatGPT)は、生成者と編集者の役割を兼ね、より小規模のモデルが利用者特定インストラクターとして、利用者ニーズに沿った生成プロセスを案内する。
– 編集者が提供するフィードバックを活用し、編集指示の生成を最適化するため、インストラクターは編集者インストラクター強化学習に基づいてトレーニングされる。
– 2つの抽象化要約データセットにおける実験的な結果は、我々のアプローチが、利用者期待に応えるより良い出力を生成する効果があることを示している。

要約(オリジナル)

Tailoring outputs of large language models, such as ChatGPT, to specific user needs remains a challenge despite their impressive generation quality. In this paper, we propose a tri-agent generation pipeline consisting of a generator, an instructor, and an editor to enhance the customization of generated outputs. The generator produces an initial output, the user-specific instructor generates editing instructions, and the editor generates a revised output aligned with user preferences. The inference-only large language model (ChatGPT) serves as both the generator and the editor, while a smaller model acts as the user-specific instructor to guide the generation process toward user needs. The instructor is trained using editor-steered reinforcement learning, leveraging feedback from the large-scale editor model to optimize instruction generation. Experimental results on two abstractive summarization datasets demonstrate the effectiveness of our approach in generating outputs that better fulfill user expectations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI