A Survey on Personalized Alignment — The Missing Piece for Large Language Models in Real-World Applications

要約

大規模な言語モデル（LLMS）は顕著な能力を実証していますが、実際のアプリケーションへの移行は重要な制限を明らかにしています。普遍的な人間の価値との調整を維持しながら、個々の好みに適応できないことです。
現在のアライメント手法では、ユーザーの多様な背景やニーズに対応できない、すべてのサイズのアプローチを採用しています。
このペーパーでは、LLMが個々の好みに基づいて倫理的境界内で行動を適応させることができるパラダイムであるパラダイムの最初の包括的な調査を紹介します。
優先メモリ管理、パーソナライズされた生成、フィードバックベースのアラインメントを含む統一フレームワークを提案し、実装アプローチを体系的に分析し、さまざまなシナリオでの有効性を評価します。
現在の手法、潜在的なリスク、将来の課題を調べることにより、この調査は、より適応性があり倫理的に整合したLLMを開発するための構造化された基盤を提供します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities, yet their transition to real-world applications reveals a critical limitation: the inability to adapt to individual preferences while maintaining alignment with universal human values. Current alignment techniques adopt a one-size-fits-all approach that fails to accommodate users’ diverse backgrounds and needs. This paper presents the first comprehensive survey of personalized alignment-a paradigm that enables LLMs to adapt their behavior within ethical boundaries based on individual preferences. We propose a unified framework comprising preference memory management, personalized generation, and feedback-based alignment, systematically analyzing implementation approaches and evaluating their effectiveness across various scenarios. By examining current techniques, potential risks, and future challenges, this survey provides a structured foundation for developing more adaptable and ethically-aligned LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google