LLMPhy: Complex Physical Reasoning Using Large Language Models and World Models

要約

物理的推論は、現実世界で動作するロボット エージェントに必要な重要なスキルです。
しかし、このような推論問題を解決するには、多くの物理的力の影響下で複雑な多体相互作用を仮説立てて熟考する必要があり、そのため、そのようなすべての相互作用を学習することは、大規模なシステムを含む最先端の機械学習フレームワークにとって大きなハードルとなります。
言語モデル (LLM)。
この問題を研究するために、新しい物理推論タスクと TraySim と呼ばれるデータセットを提案します。
私たちのタスクには、外部からの衝撃が与えられたトレイ上のいくつかのオブジェクトのダイナミクスを予測することが含まれます。つまり、その後のオブジェクトの相互作用のドミノ効果とそのダイナミクスにより、挑戦的だが制御されたセットアップが提供されます。推論の目的は、オブジェクトの安定性を推測することです。
衝撃後の物体。
この複雑な物理的推論タスクを解決するために、LLMPhy を紹介します。LLMPhy は、LLM の物理知識とプログラム合成能力を活用し、これらの能力を現代の物理エンジンに組み込まれたワールド モデルと相乗効果させる、ゼロショット ブラック ボックス最適化フレームワークです。
具体的には、LLMPhy は LLM を使用してコードを生成し、ループ内で (微分不可能な) シミュレーターを使用する暗黙的な合成による解析アプローチによってシステムの物理ハイパーパラメーター (摩擦、減衰、レイアウトなど) を反復的に推定します。
推測されたパラメータを使用して、推論タスクの解決に向けたシーンのダイナミクスを想像します。
LLMPhy の有効性を示すために、物体の定常状態の姿勢を予測するための TraySim データセットの実験を紹介します。
私たちの結果は、LLM と物理エンジンの組み合わせにより、最先端のゼロショット物理推論パフォーマンスが得られるとともに、標準的なブラックボックス最適化手法に対する優れた収束性と物理パラメータのより適切な推定を実証していることを示しています。

要約(オリジナル)

Physical reasoning is an important skill needed for robotic agents when operating in the real world. However, solving such reasoning problems often involves hypothesizing and reflecting over complex multi-body interactions under the effect of a multitude of physical forces and thus learning all such interactions poses a significant hurdle for state-of-the-art machine learning frameworks, including large language models (LLMs). To study this problem, we propose a new physical reasoning task and a dataset, dubbed TraySim. Our task involves predicting the dynamics of several objects on a tray that is given an external impact — the domino effect of the ensued object interactions and their dynamics thus offering a challenging yet controlled setup, with the goal of reasoning being to infer the stability of the objects after the impact. To solve this complex physical reasoning task, we present LLMPhy, a zero-shot black-box optimization framework that leverages the physics knowledge and program synthesis abilities of LLMs, and synergizes these abilities with the world models built into modern physics engines. Specifically, LLMPhy uses an LLM to generate code to iteratively estimate the physical hyperparameters of the system (friction, damping, layout, etc.) via an implicit analysis-by-synthesis approach using a (non-differentiable) simulator in the loop and uses the inferred parameters to imagine the dynamics of the scene towards solving the reasoning task. To show the effectiveness of LLMPhy, we present experiments on our TraySim dataset to predict the steady-state poses of the objects. Our results show that the combination of the LLM and the physics engine leads to state-of-the-art zero-shot physical reasoning performance, while demonstrating superior convergence against standard black-box optimization methods and better estimation of the physical parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google