要約
ニュージャージー州アイントホーフェンで開催されたオープン プラットフォーム リーグの RoboCup@Home 2024 大会で優勝したチーム NimbRo@Home のアプローチと貢献を紹介します。
さらに、ハードウェアのセットアップについて説明し、タスク段階と最終デモンストレーションの結果の概要を示します。
今年のコンテストでは、RoboCup@Home で一般的に使用されている、教師ありビジョン アプローチのラベル付けのオーバーヘッドを克服する、オープンボキャブラリーのオブジェクトのセグメンテーションと把握のアプローチに特に重点を置きました。
ラベルのないオブジェクトをテキストの説明によってセグメント化して把握できることを実証することに成功しました。
さらに、自然言語理解とタスク計画のために LLM を広範囲に採用しました。
コンテストを通じて、私たちのアプローチは堅牢性と一般化能力を示しました。
私たちのパフォーマンスのビデオはオンラインでご覧いただけます。
要約(オリジナル)
We present the approaches and contributions of the winning team NimbRo@Home at the RoboCup@Home 2024 competition in the Open Platform League held in Eindhoven, NL. Further, we describe our hardware setup and give an overview of the results for the task stages and the final demonstration. For this year’s competition, we put a special emphasis on open-vocabulary object segmentation and grasping approaches that overcome the labeling overhead of supervised vision approaches, commonly used in RoboCup@Home. We successfully demonstrated that we can segment and grasp non-labeled objects by text descriptions. Further, we extensively employed LLMs for natural language understanding and task planning. Throughout the competition, our approaches showed robustness and generalization capabilities. A video of our performance can be found online.
arxiv情報
| 著者 | Raphael Memmesheimer,Jan Nogga,Bastian Pätzold,Evgenii Kruzhkov,Simon Bultmann,Michael Schreiber,Jonas Bode,Bertan Karacora,Juhui Park,Alena Savinykh,Sven Behnke |
| 発行日 | 2024-12-19 16:00:43+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google