要約
ロボットシステムで命令が条件付けされた高精度の表面スキャン向けに設計された新しいデータセットであるScanbotを紹介します。
把握、ナビゲーション、ダイアログなどの粗いタスクに焦点を当てた既存のロボット学習データセットとは対照的に、スキャンボットは、サブミリメーターのパスの連続性とパラメーターの安定性が重要である産業レーザースキャンの高精度の要求をターゲットにします。
データセットは、12の多様なオブジェクトと、フル表面スキャン、ジオメトリに焦点を当てた領域、空間参照部品、機能的に関連する構造、欠陥検査、および比較分析など、ロボットによって実行されるレーザースキャン軌道をカバーします。
各スキャンは、自然言語の指示に導かれ、同期されたRGB、深さ、レーザープロファイル、およびロボットのポーズとジョイント状態と組み合わされます。
最近の進歩にもかかわらず、既存のビジョン言語アクション（VLA）モデルは、きめ細かい指示と実際の精度の需要の下で安定したスキャン軌跡を生成できません。
この制限を調査するために、完全な知覚計画と解釈のループ全体にわたって、さまざまなマルチモーダル大手言語モデル（MLLM）をベンチマークし、現実的な制約の下で指導を提供する際の持続的な課題を明らかにします。
要約(オリジナル)
We introduce ScanBot, a novel dataset designed for instruction-conditioned, high-precision surface scanning in robotic systems. In contrast to existing robot learning datasets that focus on coarse tasks such as grasping, navigation, or dialogue, ScanBot targets the high-precision demands of industrial laser scanning, where sub-millimeter path continuity and parameter stability are critical. The dataset covers laser scanning trajectories executed by a robot across 12 diverse objects and 6 task types, including full-surface scans, geometry-focused regions, spatially referenced parts, functionally relevant structures, defect inspection, and comparative analysis. Each scan is guided by natural language instructions and paired with synchronized RGB, depth, and laser profiles, as well as robot pose and joint states. Despite recent progress, existing vision-language action (VLA) models still fail to generate stable scanning trajectories under fine-grained instructions and real-world precision demands. To investigate this limitation, we benchmark a range of multimodal large language models (MLLMs) across the full perception-planning-execution loop, revealing persistent challenges in instruction-following under realistic constraints.
arxiv情報
| 著者 | Zhiling Chen,Yang Zhang,Fardin Jalil Piran,Qianyu Zhou,Jiong Tang,Farhad Imani |
| 発行日 | 2025-05-22 21:22:50+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google