要約
大規模言語モデル (LLM) を人間の一般的な好みに合わせることが、LLM と人間の間の対話の質を向上させる上で重要であることが証明されています。
ただし、人間の価値観は本質的に個人によって多様であるため、LLM を一般的な好みにのみ合わせるだけでは不十分です。
これに対処するには、個人のフィードバックに従って LLM をパーソナライズすることが有望な解決策として浮上します。
それにもかかわらず、このアプローチには、位置合わせアルゴリズムの効率の点で課題があります。
この研究では、個人の好みを調整するための柔軟なパラダイムを導入します。
私たちの方法は、LLM でのテキスト生成からプリファレンス表現を分離することで効率を根本的に改善します。
私たちは、複数のテキスト生成タスクにわたってアプローチを検証し、PEFT ベースの方法と同等かそれ以上の調整された品質を生み出すことができると同時に、新しい個別の設定ごとに追加のトレーニング時間を比較して $80\%$ から $90\%$ 削減できることを実証しました。
彼らと一緒に。
要約(オリジナル)
Aligning Large Language Models (LLMs) with general human preferences has been proved crucial in improving the interaction quality between LLMs and human. However, human values are inherently diverse among different individuals, making it insufficient to align LLMs solely with general preferences. To address this, personalizing LLMs according to individual feedback emerges as a promising solution. Nonetheless, this approach presents challenges in terms of the efficiency of alignment algorithms. In this work, we introduce a flexible paradigm for individual preference alignment. Our method fundamentally improves efficiency by disentangling preference representation from text generation in LLMs. We validate our approach across multiple text generation tasks and demonstrate that it can produce aligned quality as well as or better than PEFT-based methods, while reducing additional training time for each new individual preference by $80\%$ to $90\%$ in comparison with them.
arxiv情報
著者 | Jianfei Zhang,Jun Bai,Bei Li,Yanmeng Wang,Rumei Li,Chenghua Lin,Wenge Rong |
発行日 | 2024-12-30 09:58:31+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google