Knot So Simple: A Minimalistic Environment for Spatial Reasoning

要約

複雑で空間的な推論と操作のためのインタラクティブな環境であるKnotgymを提案します。
Knotgymには、さまざまなレベルの複雑さを持つ目標指向のロープ操作タスクが含まれており、すべて純粋な画像観測から作用する必要があります。
タスクは、結び目の交差の数に基づいて、明確で定量化可能な複雑さの軸に沿って定義され、自然な一般化テストを作成します。
Knotgymには、スケーラブルな開発を可能にする単純な観測スペースがありますが、急性知覚、空間推論、および接地操作の統合における中心的な課題を強調しています。
モデルベースのRL、モデル予測制御、考え方の推論を含むさまざまなクラスの方法を評価し、Knotgymが提示する課題を説明します。
Knotgymはhttps://github.com/lil-lab/knotgymで入手できます。

要約(オリジナル)

We propose KnotGym, an interactive environment for complex, spatial reasoning and manipulation. KnotGym includes goal-oriented rope manipulation tasks with varying levels of complexity, all requiring acting from pure image observations. Tasks are defined along a clear and quantifiable axis of complexity based on the number of knot crossings, creating a natural generalization test. KnotGym has a simple observation space, allowing for scalable development, yet it highlights core challenges in integrating acute perception, spatial reasoning, and grounded manipulation. We evaluate methods of different classes, including model-based RL, model-predictive control, and chain-of-thought reasoning, and illustrate the challenges KnotGym presents. KnotGym is available at https://github.com/lil-lab/knotgym.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google