Evolution 6.0: Evolving Robotic Capabilities Through Generative Design

要約

生成AIによって駆動されるロボット工学の進化を表す新しい概念であるEvolution 6.0を提案します。
ロボットに人間が要求するタスクを達成するために必要なツールがない場合、必要な機器を自律的に設計し、それらを使用して目標を達成する方法を学びます。
Evolution 6.0は、Vision-Language Models（VLMS）、Vision-Language Action（VLA）モデル、およびツール設計とタスク実行のためのテキストから3Dの生成モデルを搭載した自律的なロボットシステムです。
このシステムは、視覚データとテキストデータからタスク固有のツールを製造するツール生成モジュールと、自然言語の指示をロボットアクションに変換するアクション生成モジュールの2つの重要なモジュールで構成されています。
環境理解用のQWENVLM、タスク実行のためのOpenVLA、3Dツール生成のLlama-Meshを統合します。
評価の結果は、10秒の推論時間と、物理的および視覚的一般化で83.5％、動きの一般化で70％、意味一般化で37％を達成するためのツール生成の90％の成功率を示しています。
将来の改善により、二マニュアル操作、タスク機能の拡大、環境解釈の強化に焦点を当て、実際の適応性を向上させます。

要約(オリジナル)

We propose a new concept, Evolution 6.0, which represents the evolution of robotics driven by Generative AI. When a robot lacks the necessary tools to accomplish a task requested by a human, it autonomously designs the required instruments and learns how to use them to achieve the goal. Evolution 6.0 is an autonomous robotic system powered by Vision-Language Models (VLMs), Vision-Language Action (VLA) models, and Text-to-3D generative models for tool design and task execution. The system comprises two key modules: the Tool Generation Module, which fabricates task-specific tools from visual and textual data, and the Action Generation Module, which converts natural language instructions into robotic actions. It integrates QwenVLM for environmental understanding, OpenVLA for task execution, and Llama-Mesh for 3D tool generation. Evaluation results demonstrate a 90% success rate for tool generation with a 10-second inference time, and action generation achieving 83.5% in physical and visual generalization, 70% in motion generalization, and 37% in semantic generalization. Future improvements will focus on bimanual manipulation, expanded task capabilities, and enhanced environmental interpretation to improve real-world adaptability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google