Neural Scaling Laws in Robotics

要約

ニューラルスケーリング法則は、特に言語モデリングやコンピュータービジョンなどのドメインで、機械学習の大幅な進歩を促進しています。
ただし、この分野での基礎モデルの採用が拡大しているにもかかわらず、ロボット工学内の神経スケーリング法則の調査は、比較的目立たないままです。
この論文は、ロボットタスクのロボット基礎モデル（RFMS）および大規模な言語モデル（LLM）の神経スケーリング法則を定量化する最初の包括的な研究を表しています。
327の研究論文のメタ分析を通じて、データサイズ、モデルサイズ、およびコンピューティングリソースが、多様なロボットタスクのセット全体で下流のパフォーマンスにどのように影響するかを調査します。
以前のスケーリング法の研究と一致して、我々の結果は、パワーローレスト関係に続いて、ロボットモデルのパフォーマンスがリソースを増やすと改善することを明らかにしています。
有望なことに、ロボットタスクのパフォーマンスの改善は、言語タスクよりも顕著に速くスケールされます。
これは、今日のダウンストリームロボットタスクのパフォーマンスが中程度から貧困状態であることが多いことを示唆していますが、データと計算の増加は将来のパフォーマンスを大幅に改善する可能性が高いことを示唆しています。
また、以前のスケーリング法の研究と一致して、モデルスケールとしての新しいロボット機能の出現も観察します。

要約(オリジナル)

Neural scaling laws have driven significant advancements in machine learning, particularly in domains like language modeling and computer vision. However, the exploration of neural scaling laws within robotics has remained relatively underexplored, despite the growing adoption of foundation models in this field. This paper represents the first comprehensive study to quantify neural scaling laws for Robot Foundation Models (RFMs) and Large Language Models (LLMs) in robotics tasks. Through a meta-analysis of 327 research papers, we investigate how data size, model size, and compute resources influence downstream performance across a diverse set of robotic tasks. Consistent with previous scaling law research, our results reveal that the performance of robotic models improves with increased resources, following a power-law relationship. Promisingly, the improvement in robotic task performance scales notably faster than language tasks. This suggests that, while performance on downstream robotic tasks today is often moderate-to-poor, increased data and compute are likely to signficantly improve performance in the future. Also consistent with previous scaling law research, we also observe the emergence of new robot capabilities as models scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google