Modifying Large Language Model Post-Training for Diverse Creative Writing

要約

創造的なライティングタスクには特異な正解がないため、これらのタスクを実行するために訓練された大規模な言語モデル（LLM）は、多様な有効な出力を生成できるはずです。
ただし、LLM後のトレーニングは、多くの場合、生成品質の向上に焦点を当てていますが、生産量の多様性を促進することを怠っています。
したがって、クリエイティブライティングの世代では、出力の多様性と品質の両方を促進するために、トレーニング後のアプローチを調査します。
私たちの核となるアイデアは、逸脱を含めることです – トレーニングサンプルと同じプロンプトを持つ他のすべてのサンプルの違いの程度 – は、まれな高品質のインスタンスからの学習を促進するトレーニング目標です。
直接選好最適化（DPO）およびオッズ比優先最適化（ORPO）へのアプローチを採用することにより、訓練されたモデルの出力多様性を促進しながら品質を最小限に抑えることができることを実証します。
8Bパラメーターを備えた当社の最良のモデルは、人間が作成したデータセットとしての標準的な多様性を達成でき、GPT-4OおよびDeepSeek-R1を調べた最適な命令チューニングモデルと同様の出力品質を備えています。
さらに、人間の評価、アブレーション、既存の多様化アプローチとの比較でアプローチを検証します。

要約(オリジナル)

As creative writing tasks do not have singular correct answers, large language models (LLMs) trained to perform these tasks should be able to generate diverse valid outputs. However, LLM post-training often focuses on improving generation quality but neglects to facilitate output diversity. Hence, in creative writing generation, we investigate post-training approaches to promote both output diversity and quality. Our core idea is to include deviation — the degree of difference between a training sample and all other samples with the same prompt — in the training objective to facilitate learning from rare high-quality instances. By adopting our approach to direct preference optimization (DPO) and odds ratio preference optimization (ORPO), we demonstrate that we can promote the output diversity of trained models while minimally decreasing quality. Our best model with 8B parameters could achieve on-par diversity as a human-created dataset while having output quality similar to the best instruction-tuned models we examined, GPT-4o and DeepSeek-R1. We further validate our approaches with a human evaluation, an ablation, and a comparison to an existing diversification approach, DivPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google