Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

要約

Visumotor ロボット ポリシーは、大規模なデータセットで事前トレーニングされることが増えており、ロボティクス領域全体での大幅な進歩を約束します。
ただし、これらのポリシーをエンドユーザーの好みに合わせるのは、特に好みの指定が難しい場合には依然として課題が残ります。
人間のフィードバックからの強化学習 (RLHF) は、大規模な言語モデルのような非身体化領域における整合のための主要なメカニズムとなっていますが、視覚的報酬を学習するために必要な人間のフィードバックが法外な量であるため、視覚運動ポリシーの整合において同様の成功は見られていません。
機能。
この制限に対処するために、我々は、大幅に少ない人間の嗜好フィードバックから視覚的報酬を学習するための観察のみの方法である表現整合嗜好ベース学習 (RAPL) を提案します。
従来の RLHF とは異なり、RAPL は、エンドユーザーの視覚表現と一致するように事前にトレーニングされたビジョン エンコーダを微調整することに人間のフィードバックを集中させ、この一致した表現空間での特徴マッチングを介して高密度の視覚報酬を構築します。
まず、X-Magical ベンチマークと Franka Panda ロボット操作でのシミュレーション実験を通じて RAPL を検証し、人間の好みに合わせた報酬を学習し、好みデータをより効率的に使用し、ロボットの実施形態全体で一般化できることを実証します。
最後に、ハードウェア実験では、事前トレーニングされた拡散ポリシーを 3 つのオブジェクト操作タスクに合わせて調整します。
RAPL は、実際の人間の好みの 5 分の 1 データを使用してこれらのポリシーを微調整でき、視覚運動ロボットのポリシー調整を最大化しながら人間のフィードバックを最小限に抑えるための第一歩を踏み出すことができることがわかりました。

要約(オリジナル)

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user’s visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google