Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

要約

$ \ infty $ -thorを紹介します。これは、具体化されたAIでの長いコンテキストの理解を促進する長老具体化されたタスクの新しいフレームワークです。
$ \ infty $ -thorは次のことを提供します。（1）スケーラブル、再現性、無制限の長期軌跡を合成するための生成フレームワーク。
（2）具体化されたHaystackに具体化されたQAタスク、針の針は具体化されています。ここでは、拡張された軌跡を介した複数の散乱した手がかりのテストエージェントの長い文脈の推論能力。
（3）何百もの環境ステップにまたがる複雑なタスクを備えた長距離データセットとベンチマークスイート。
この機能を有効にするために、インターリーブされた目標ステートアクションモデリング、コンテキスト拡張技術、コンテキスト並列性などの建築的適応を調査して、LLMベースのエージェントを極端に長いコンテキストの推論と相互作用に装備します。
実験結果と分析は、当社のベンチマークによってもたらされる課題を強調し、長期条件下でのトレーニング戦略とモデル行動に関する洞察を提供します。
私たちの仕事は、堅牢で長期的な推論と計画が可能な次世代の具体化されたAIシステムの基盤を提供します。

要約(オリジナル)

We introduce $\infty$-THOR, a new framework for long-horizon embodied tasks that advances long-context understanding in embodied AI. $\infty$-THOR provides: (1) a generation framework for synthesizing scalable, reproducible, and unlimited long-horizon trajectories; (2) a novel embodied QA task, Needle(s) in the Embodied Haystack, where multiple scattered clues across extended trajectories test agents’ long-context reasoning ability; and (3) a long-horizon dataset and benchmark suite featuring complex tasks that span hundreds of environment steps, each paired with ground-truth action sequences. To enable this capability, we explore architectural adaptations, including interleaved Goal-State-Action modeling, context extension techniques, and Context Parallelism, to equip LLM-based agents for extreme long-context reasoning and interaction. Experimental results and analyses highlight the challenges posed by our benchmark and provide insights into training strategies and model behaviors under long-horizon conditions. Our work provides a foundation for the next generation of embodied AI systems capable of robust, long-term reasoning and planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google