Learning rewards for robotic ultrasound scanning using probabilistic temporal ranking

要約

有益な経路計画は、ロボット工学における視覚サーボとアクティブな視点選択に対する十分に確立されたアプローチですが、通常、適切なコスト関数または目標状態が既知であることを前提としています。
この研究では、タスクの目標が不明であり、下流の有益なパス計画ポリシーで使用するために、デモンストレーターが提供する探索的なデモンストレーションの例から報酬関数を推測する必要がある逆問題を考慮しています。
残念ながら、既存の報酬推論戦略の多くは、デモンストレーションの探索的な性質により、このクラスの問題には適していません。
本稿では、このような最適ではない探索的なデモンストレーションが発生する問題のクラスに対処するための代替アプローチを提案します。
私たちは、発見が必要なタスクでは、デモンストレーションの連続する状態がより高い報酬に関連する可能性が徐々に高くなるという仮説を立て、この仮説を使用して、時間ベースのバイナリ比較結果を生成し、これらのランクをサポートする報酬関数を推論します。
確率的生成モデル。
私たちは、この \emph{確率的時間ランキング} アプローチを形式化し、自律超音波スキャンの報酬推論を実行する既存のアプローチを改良したものであることを示します。これは、医療画像におけるデモンストレーションから学習する新しいアプリケーションであり、同時に幅広い目標にわたって価値があります。
デモンストレーションタスクからの指向的な学習。
\keywords{視覚的サーボ処理、報酬推論、確率的時間ランキング

要約(オリジナル)

Informative path-planning is a well established approach to visual-servoing and active viewpoint selection in robotics, but typically assumes that a suitable cost function or goal state is known. This work considers the inverse problem, where the goal of the task is unknown, and a reward function needs to be inferred from exploratory example demonstrations provided by a demonstrator, for use in a downstream informative path-planning policy. Unfortunately, many existing reward inference strategies are unsuited to this class of problems, due to the exploratory nature of the demonstrations. In this paper, we propose an alternative approach to cope with the class of problems where these sub-optimal, exploratory demonstrations occur. We hypothesise that, in tasks which require discovery, successive states of any demonstration are progressively more likely to be associated with a higher reward, and use this hypothesis to generate time-based binary comparison outcomes and infer reward functions that support these ranks, under a probabilistic generative model. We formalise this \emph{probabilistic temporal ranking} approach and show that it improves upon existing approaches to perform reward inference for autonomous ultrasound scanning, a novel application of learning from demonstration in medical imaging while also being of value across a broad range of goal-oriented learning from demonstration tasks. \keywords{Visual servoing \and reward inference \and probabilistic temporal ranking

arxiv情報

提供元, 利用サービス

arxiv.jp, Google