AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable Diffusion Model

要約

強化学習(RL)においては、人間の嗜好は抽象的で変化しやすいため、エージェントの行動を多様な人間の嗜好に合わせることは依然として困難な問題である。これらの問題に対処するために、我々は、人間のフィードバックからのRL（RLHF）を活用して、人間の嗜好を定量化し、抽象性をカバーし、変異性をカバーするゼロショット行動カスタマイズのための拡散計画を導くためにそれらを利用する新しいフレームワークであるAlignDiffを提案する。AlignDiffは、ユーザがカスタマイズした行動を正確にマッチングし、効率的に別の行動に切り替えることができる。フレームワークを構築するために、まず、多様な行動の属性の比較を含む多視点人間フィードバックデータセットを確立し、次に、定量化された相対的な強さを予測する属性強度モデルを学習する。行動データセットを相対的な強さで再ラベル化した後、属性条件付き拡散モデルの学習を進める。この拡散モデルは、推論段階でのプリファレンス整列のために、属性強さモデルをディレクタとするプランナとして機能する。我々はAlignDiffを様々なロコモーションタスクで評価し、他のベースラインと比較して、プリファレンスのマッチング、スイッチング、カバーリングにおいて優れた性能を示す。また、人間の指示の下で未知の下流タスクを完了させるその能力は、人間とAIとの協働の有望な可能性を示している。https://aligndiff.github.io/、さらに多くの可視化ビデオが公開されている。

要約(オリジナル)

Aligning agent behaviors with diverse human preferences remains a challenging problem in reinforcement learning (RL), owing to the inherent abstractness and mutability of human preferences. To address these issues, we propose AlignDiff, a novel framework that leverages RL from Human Feedback (RLHF) to quantify human preferences, covering abstractness, and utilizes them to guide diffusion planning for zero-shot behavior customizing, covering mutability. AlignDiff can accurately match user-customized behaviors and efficiently switch from one to another. To build the framework, we first establish the multi-perspective human feedback datasets, which contain comparisons for the attributes of diverse behaviors, and then train an attribute strength model to predict quantified relative strengths. After relabeling behavioral datasets with relative strengths, we proceed to train an attribute-conditioned diffusion model, which serves as a planner with the attribute strength model as a director for preference aligning at the inference phase. We evaluate AlignDiff on various locomotion tasks and demonstrate its superior performance on preference matching, switching, and covering compared to other baselines. Its capability of completing unseen downstream tasks under human instructions also showcases the promising potential for human-AI collaboration. More visualization videos are released on https://aligndiff.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL