Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences

要約

人間の多様な好みに合わせてロボットの動作をカスタマイズすることは、身体型 AI の分野では十分に検討されていない課題です。
この論文では、複雑な環境において人間の多様な好みに合わせてロボットエージェントを効率的にパーソナライズすることを容易にする新しいフレームワークである Promptable Behaviors を紹介します。
私たちは多目的強化学習を使用して、幅広い好みに適応できる単一のポリシーをトレーニングします。
さまざまなタイプのインタラクションを活用して、人間の好みを推測するための 3 つの異なる方法を紹介します。(1) 人間によるデモンストレーション、(2) 軌跡の比較に関する好みのフィードバック、(3) 言語の指示。
私たちは、ProcTHOR と RoboTHOR のパーソナライズされたオブジェクトと目標のナビゲーションおよび逃走ナビゲーション タスクで提案された方法を評価し、さまざまなシナリオで人間の好みを満たすようエージェントの行動を促す機能を実証します。
プロジェクトページ: https://promptable-behaviors.github.io

要約(オリジナル)

Customizing robotic behaviors to be aligned with diverse human preferences is an underexplored challenge in the field of embodied AI. In this paper, we present Promptable Behaviors, a novel framework that facilitates efficient personalization of robotic agents to diverse human preferences in complex environments. We use multi-objective reinforcement learning to train a single policy adaptable to a broad spectrum of preferences. We introduce three distinct methods to infer human preferences by leveraging different types of interactions: (1) human demonstrations, (2) preference feedback on trajectory comparisons, and (3) language instructions. We evaluate the proposed method in personalized object-goal navigation and flee navigation tasks in ProcTHOR and RoboTHOR, demonstrating the ability to prompt agent behaviors to satisfy human preferences in various scenarios. Project page: https://promptable-behaviors.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google