CognitiveOS: Large Multimodal Model based System to Endow Any Type of Robot with Generative AI

要約

この論文では、複数の変圧器ベースのモデルに基づく破壊的システムである CognitiveOS を紹介します。これは、人間とのコミュニケーションだけでなく、環境との物理的な相互作用を通じてタスクを解決するための認知能力をさまざまなタイプのロボットに与えます。
このシステムは、追加の調整を行うことなく、さまざまなロボット プラットフォーム上でスムーズに動作します。
環境を分析し、長期記憶からの情報を使用して、タスクの実行に関する意思決定を自律的に行​​います。
このシステムは、四足歩行ロボットやマニピュレーターロボットを含むさまざまなプラットフォームでテストされ、学習データセットに行動例が存在しないロボットであっても行動計画を策定できることが実証されました。
実験結果では、高度なタスクの理解と適応性におけるシステムの高いパフォーマンスが明らかになり、現実世界のアプリケーションでの可能性が強調されました。
このペーパーの各章では、システムの主要コンポーネントとデータセット構造について説明します。
ステップ生成モデルを微調整するためのデータセットは、次のリンクで提供されます。リンクは近日公開されます。

要約(オリジナル)

This paper introduces CognitiveOS, a disruptive system based on multiple transformer-based models, endowing robots of various types with cognitive abilities not only for communication with humans but also for task resolution through physical interaction with the environment. The system operates smoothly on different robotic platforms without extra tuning. It autonomously makes decisions for task execution by analyzing the environment and using information from its long-term memory. The system underwent testing on various platforms, including quadruped robots and manipulator robots, showcasing its capability to formulate behavioral plans even for robots whose behavioral examples were absent in the training dataset. Experimental results revealed the system’s high performance in advanced task comprehension and adaptability, emphasizing its potential for real-world applications. The chapters of this paper describe the key components of the system and the dataset structure. The dataset for fine-tuning step generation model is provided at the following link: link coming soon

arxiv情報

提供元, 利用サービス

arxiv.jp, Google