Towards Uncertainty Unification: A Case Study for Preference Learning

要約

人間の好みを学ぶことは、人間とロボットの相互作用に不可欠です。ロボットは、人間の期待と目標に合わせて行動を適応させることができるためです。
ただし、人間の行動とロボットシステムの両方に固有の不確実性により、好みは挑戦的なタスクを学習します。
確率論的ロボットアルゴリズムは不確実性の定量化を提供しますが、人間の好みの不確実性の統合は露出度の低いままです。
このギャップを埋めるために、不確実性の統一を導入し、新しいフレームワーク、不確実性栄養学習（UUPL）を提案します。
具体的には、UUPLには、GP後方平均推定を改善する人間の好みの不確実性モデルと、GP予測分散精度を高める不確実性加重ガウス混合モデル（GMM）が含まれます。
さらに、ユーザー固有のキャリブレーションプロセスを設計して、ユーザー間の不確実性表現を調整し、モデルパフォーマンスの一貫性と信頼性を確保します。
包括的な実験とユーザー研究は、UUPLが予測精度とユーザー評価の両方で最先端のパフォーマンスを達成することを示しています。
アブレーション研究は、UUPLの人間の不確実性モデルと不確実性加重GMMの有効性をさらに検証します。

要約(オリジナル)

Learning human preferences is essential for human-robot interaction, as it enables robots to adapt their behaviors to align with human expectations and goals. However, the inherent uncertainties in both human behavior and robotic systems make preference learning a challenging task. While probabilistic robotics algorithms offer uncertainty quantification, the integration of human preference uncertainty remains underexplored. To bridge this gap, we introduce uncertainty unification and propose a novel framework, uncertainty-unified preference learning (UUPL), which enhances Gaussian Process (GP)-based preference learning by unifying human and robot uncertainties. Specifically, UUPL includes a human preference uncertainty model that improves GP posterior mean estimation, and an uncertainty-weighted Gaussian Mixture Model (GMM) that enhances GP predictive variance accuracy. Additionally, we design a user-specific calibration process to align uncertainty representations across users, ensuring consistency and reliability in the model performance. Comprehensive experiments and user studies demonstrate that UUPL achieves state-of-the-art performance in both prediction accuracy and user rating. An ablation study further validates the effectiveness of human uncertainty model and uncertainty-weighted GMM of UUPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google