TidyBot: Personalized Robot Assistance with Large Language Models

要約

ロボットが身体的支援を効果的にパーソナライズするには、一般に将来のシナリオに再適用できるユーザーの好みを学習する必要があります。
この研究では、物を拾ったり片付けたりすることで部屋を片付けることができるロボットを使用して、家庭の掃除の個人化を調査します。
人々の好みは個人の好みや文化的背景によって大きく異なるため、各オブジェクトを適切に配置する場所を決定することが重要な課題となります。
たとえば、ある人はシャツを引き出しに保管することを好むかもしれませんが、別の人はシャツを棚に保管することを好むかもしれません。
私たちは、特定の人物との事前のやり取りを通じて、ほんの一握りの例からそのような好みを学習できるシステムを構築することを目指しています。
私たちは、ロボットが言語ベースの計画と認識を大規模言語モデル (LLM) の少数ショット要約機能と組み合わせて、将来の対話に広く適用できる一般化されたユーザーの好みを推測できることを示します。
このアプローチにより、迅速な適応が可能になり、ベンチマーク データセット内の目に見えないオブジェクトに対して 91.2% の精度を達成します。
また、TidyBot と呼ばれる実世界のモバイル マニピュレーターでのアプローチも実証し、実世界のテスト シナリオで 85.0% のオブジェクトをうまく片付けます。

要約(オリジナル)

For a robot to personalize physical assistance effectively, it must learn user preferences that can be generally reapplied to future scenarios. In this work, we investigate personalization of household cleanup with robots that can tidy up rooms by picking up objects and putting them away. A key challenge is determining the proper place to put each object, as people’s preferences can vary greatly depending on personal taste or cultural background. For instance, one person may prefer storing shirts in the drawer, while another may prefer them on the shelf. We aim to build systems that can learn such preferences from just a handful of examples via prior interactions with a particular person. We show that robots can combine language-based planning and perception with the few-shot summarization capabilities of large language models (LLMs) to infer generalized user preferences that are broadly applicable to future interactions. This approach enables fast adaptation and achieves 91.2% accuracy on unseen objects in our benchmark dataset. We also demonstrate our approach on a real-world mobile manipulator called TidyBot, which successfully puts away 85.0% of objects in real-world test scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google