Robo-DM: Data Management For Large Robot Datasets

要約

最近の結果は、テレオ蒸発ロボットデモンストレーションの非常に大きなデータセットを使用して、新しいシーン、ロボット、タスクに一般化する可能性のある変圧器ベースのモデルをトレーニングできることを示唆しています。
ただし、通常、複数のカメラからのストリームを含むビデオ、テキスト、および数値モダリティで構成されるロボット軌道の大規模なデータセットのキュレーション、分散、ロードの依然として困難です。
ロボットデータを収集、共有、学習するための効率的なオープンソースクラウドベースのデータ管理ツールキットであるRobo-DMを提案します。
Robo-DMを使用すると、ロボットデータセットは、拡張可能なバイナリメタ言語（EBML）を備えた自己完結型形式に保存されます。
Robo-DMは、トレーニング中のロボット軌道データ、転送コスト、およびデータの読み込み時間を大幅に削減できます。
OXEデータセットで使用されるRLDS形式と比較して、Robo-DMの圧縮により、スペースが最大70倍（損失）および3.5倍（ロスレス）を節約します。
Robo-DMは、メモリマップデコードキャッシュを使用した負荷バランスビデオデコードにより、データの取得も加速します。
Losy Video Compressionも使用するフレームワークであるLerobotと比較して、Robo-DMは順次デコードすると最大50倍高速です。
Robo-DMによって訓練されたモデルを物理的に評価します。
Robo-DMは、元のデータセットの75倍の圧縮を使用しており、ダウンストリームタスクの精度が低下することはありません。

要約(オリジナル)

Recent results suggest that very large datasets of teleoperated robot demonstrations can be used to train transformer-based models that have the potential to generalize to new scenes, robots, and tasks. However, curating, distributing, and loading large datasets of robot trajectories, which typically consist of video, textual, and numerical modalities – including streams from multiple cameras – remains challenging. We propose Robo-DM, an efficient open-source cloud-based data management toolkit for collecting, sharing, and learning with robot data. With Robo-DM, robot datasets are stored in a self-contained format with Extensible Binary Meta Language (EBML). Robo-DM can significantly reduce the size of robot trajectory data, transfer costs, and data load time during training. Compared to the RLDS format used in OXE datasets, Robo-DM’s compression saves space by up to 70x (lossy) and 3.5x (lossless). Robo-DM also accelerates data retrieval by load-balancing video decoding with memory-mapped decoding caches. Compared to LeRobot, a framework that also uses lossy video compression, Robo-DM is up to 50x faster when decoding sequentially. We physically evaluate a model trained by Robo-DM with lossy compression, a pick-and-place task, and In-Context Robot Transformer. Robo-DM uses 75x compression of the original dataset and does not suffer reduction in downstream task accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google