Can Test-Time Scaling Improve World Foundation Model?

要約

現在の観測と入力から将来の状態を予測することにより物理的世界をシミュレートする世界財団モデルは、自律運転やロボット工学など、物理的知能の多くのアプリケーションの中心となっています。
ただし、これらのモデルには、事前トレーニングにかなりの計算リソースが必要であり、トレーニング後に利用可能なデータによってさらに制約されています。
そのため、テスト時にのスケーリング計算は、従来のモデルの拡大または再トレーニングの重要かつ実用的な代替の両方として現れます。
この作業では、WFMに合わせたテスト時間スケーリングフレームワークであるSwiftを紹介します。
Swiftは、拡張可能なWFM評価ツールキットを、高速トークン化、確率ベースのTOP-Kプルーニング、効率的なビーム検索など、プロセスレベルの推論戦略と統合します。
COSMOSモデルの経験的結果は、テスト時間スケーリングが計算最適な方法でも存在することを示しています。
私たちの調査結果は、テスト時間スケーリング法則がWFMに保持され、Swiftがモデルサイズを再訓練または増加せずにWFM推論を改善するためのスケーラブルで効果的な経路を提供することを明らかにしています。
このコードは、https：//github.com/mia-cong/swift.gitで入手できます。

要約(オリジナル)

World foundation models, which simulate the physical world by predicting future states from current observations and inputs, have become central to many applications in physical intelligence, including autonomous driving and robotics. However, these models require substantial computational resources for pretraining and are further constrained by available data during post-training. As such, scaling computation at test time emerges as both a critical and practical alternative to traditional model enlargement or re-training. In this work, we introduce SWIFT, a test-time scaling framework tailored for WFMs. SWIFT integrates our extensible WFM evaluation toolkit with process-level inference strategies, including fast tokenization, probability-based Top-K pruning, and efficient beam search. Empirical results on the COSMOS model demonstrate that test-time scaling exists even in a compute-optimal way. Our findings reveal that test-time scaling laws hold for WFMs and that SWIFT provides a scalable and effective pathway for improving WFM inference without retraining or increasing model size. The code is available at https://github.com/Mia-Cong/SWIFT.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google