Improving User Experience in Preference-Based Optimization of Reward Functions for Assistive Robots

要約

支援ロボットは人間と対話し、効果を発揮するにはさまざまなユーザーの好みに適応する必要があります。
専門家以外のユーザーの好みを知るための簡単で効果的な手法は、ロボットの動作軌跡やジェスチャーなど、ロボットの動作をランキングすることです。
既存の技術は、嗜好学習プロセスの結果を最大化する、ユーザーがランク付けされる軌跡を生成することに重点を置いています。
ただし、生成された軌跡は、繰り返されるインタラクションに対するユーザーの好みを反映しているようには見えません。
この研究では、情報利得を伴う共分散行列適応進化戦略 (CMA-ES-IG) と呼ばれる、ユーザーがランク付けするための軌跡を生成するアルゴリズムを設計します。
CMA-ES-IG は、プリファレンス学習プロセスのユーザー エクスペリエンスを優先します。
私たちは、物理的なロボットタスクとソーシャルロボットタスクの両方において、ユーザーが私たちのアルゴリズムが以前のアプローチよりも直感的で使いやすいと感じていることを示しています。
このプロジェクトのコードは、github.com/interaction-lab/CMA-ES-IG でホストされています。

要約(オリジナル)

Assistive robots interact with humans and must adapt to different users’ preferences to be effective. An easy and effective technique to learn non-expert users’ preferences is through rankings of robot behaviors, for example, robot movement trajectories or gestures. Existing techniques focus on generating trajectories for users to rank that maximize the outcome of the preference learning process. However, the generated trajectories do not appear to reflect the user’s preference over repeated interactions. In this work, we design an algorithm to generate trajectories for users to rank that we call Covariance Matrix Adaptation Evolution Strategies with Information Gain (CMA-ES-IG). CMA-ES-IG prioritizes the user’s experience of the preference learning process. We show that users find our algorithm more intuitive and easier to use than previous approaches across both physical and social robot tasks. This project’s code is hosted at github.com/interaction-lab/CMA-ES-IG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google