要約
体現型AIロボットは、人間の生活や製造方法を根本的に改善する可能性を秘めている。ロボットを制御するために大規模な言語モデルを使用する急成長分野の継続的な進歩は、効率的なコンピューティング基盤に決定的に依存している。特に、今日の具現化AIロボット用のコンピューティング・システムは、アルゴリズム開発者の関心に基づいて純粋に設計されており、ロボットの動作は離散的なフレーム・ベースに分割されている。このような実行パイプラインは高い待ち時間とエネルギー消費を生む。本稿では、リアルタイムの具現化AIロボット制御のためのアルゴリズム-アーキテクチャ協調設計フレームワークであるCorkiを提案する。我々のアイデアは、具現化AIロボットの計算パイプラインにおいて、LLM推論、ロボット制御、データ通信を切り離すことである。Corkiは、1フレームの行動を予測する代わりに、LLM推論の頻度を減らすために、近い将来の軌道を予測する。このアルゴリズムは、軌跡をロボットの制御に使われる実際のトルク信号に変換するのを加速するハードウェアと、データ通信と計算を並列化する実行パイプラインと結合している。Corkiは、LLM推論の頻度を最大8.0倍まで大幅に削減し、最大3.6倍まで高速化する。成功率は最大17.3%向上する。再実装のためのコードを提供する。https://github.com/hyy0613/Corki
要約(オリジナル)
Embodied AI robots have the potential to fundamentally improve the way human beings live and manufacture. Continued progress in the burgeoning field of using large language models to control robots depends critically on an efficient computing substrate. In particular, today’s computing systems for embodied AI robots are designed purely based on the interest of algorithm developers, where robot actions are divided into a discrete frame-basis. Such an execution pipeline creates high latency and energy consumption. This paper proposes Corki, an algorithm-architecture co-design framework for real-time embodied AI robot control. Our idea is to decouple LLM inference, robotic control and data communication in the embodied AI robots compute pipeline. Instead of predicting action for one single frame, Corki predicts the trajectory for the near future to reduce the frequency of LLM inference. The algorithm is coupled with a hardware that accelerates transforming trajectory into actual torque signals used to control robots and an execution pipeline that parallels data communication with computation. Corki largely reduces LLM inference frequency by up to 8.0x, resulting in up to 3.6x speed up. The success rate improvement can be up to 17.3%. Code is provided for re-implementation. https://github.com/hyy0613/Corki
arxiv情報
| 著者 | Yiyang Huang,Yuhui Hao,Bo Yu,Feng Yan,Yuxin Yang,Feng Min,Yinhe Han,Lin Ma,Shaoshan Liu,Qiang Liu,Yiming Gan |
| 発行日 | 2024-08-02 01:59:22+00:00 |
| arxivサイト | arxiv_id(pdf) |