Latent Embedding Adaptation for Human Preference Alignment in Diffusion Planners

要約

この作業は、個々のユーザーの好みに迅速に適応できるリソース効率の良いアプローチを導入することにより、自動化された意思決定システムで生成された軌跡をパーソナライズするという課題に対処します。
私たちの方法は、優先潜在拡散モデルを好みの潜在的な埋め込み（PLE）で活用し、大きな報酬のないオフラインデータセットで訓練されています。
PLEは、特定のユーザー設定をキャプチャするためのコンパクトな表現として機能します。
学習可能なPLEを直接最適化する提案された優先反転法を使用して、前処理モデルを適応させることにより、人間のフィードバック（RLHF）や低ランク適応（LORA）からの補強学習などの既存のソリューションと比較して、人間の好みとの優れた整合を達成します。
実用的なアプリケーションをよりよく反映するために、多様で高報酬の軌跡に関する実際の人間の好みを使用してベンチマーク実験を作成します。

要約(オリジナル)

This work addresses the challenge of personalizing trajectories generated in automated decision-making systems by introducing a resource-efficient approach that enables rapid adaptation to individual users’ preferences. Our method leverages a pretrained conditional diffusion model with Preference Latent Embeddings (PLE), trained on a large, reward-free offline dataset. The PLE serves as a compact representation for capturing specific user preferences. By adapting the pretrained model using our proposed preference inversion method, which directly optimizes the learnable PLE, we achieve superior alignment with human preferences compared to existing solutions like Reinforcement Learning from Human Feedback (RLHF) and Low-Rank Adaptation (LoRA). To better reflect practical applications, we create a benchmark experiment using real human preferences on diverse, high-reward trajectories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google