Corki: Enabling Real-time Embodied AI Robots via Algorithm-Architecture Co-Design

要約

身体化された AI ロボットは、人間の生活や製造方法を根本的に改善する可能性を秘めています。
大規模な言語モデルを使用してロボットを制御するという急成長している分野での継続的な進歩は、効率的なコンピューティング基板に大きく依存しています。
特に、今日の具現化 AI ロボット用のコンピューティング システムは、純粋にアルゴリズム開発者の関心に基づいて設計されており、ロボットの動作は個別のフレーム ベースに分割されます。
このような実行パイプラインは、高いレイテンシーとエネルギー消費を引き起こします。
この論文では、リアルタイムの具現化 AI ロボット制御のためのアルゴリズム アーキテクチャ共同設計フレームワークである Corki を提案します。
私たちのアイデアは、具体化された AI ロボットの計算パイプラインで LLM 推論、ロボット制御、データ通信を分離することです。
Corki は、1 つの単一フレームのアクションを予測するのではなく、近い将来の軌道を予測して、LLM 推論の頻度を減らします。
このアルゴリズムは、ロボットの制御に使用される実際のトルク信号への軌道の変換を加速するハードウェアと、データ通信と計算を並行して実行する実行パイプラインと結合されています。
Corki は LLM 推論頻度を最大 8.0 倍大幅に削減し、最大 3.6 倍の速度向上をもたらします。
成功率は最大 17.3% 向上します。
再実装用のコードが提供されています。
https://github.com/hyy0613/Corki

要約(オリジナル)

Embodied AI robots have the potential to fundamentally improve the way human beings live and manufacture. Continued progress in the burgeoning field of using large language models to control robots depends critically on an efficient computing substrate. In particular, today’s computing systems for embodied AI robots are designed purely based on the interest of algorithm developers, where robot actions are divided into a discrete frame-basis. Such an execution pipeline creates high latency and energy consumption. This paper proposes Corki, an algorithm-architecture co-design framework for real-time embodied AI robot control. Our idea is to decouple LLM inference, robotic control and data communication in the embodied AI robots compute pipeline. Instead of predicting action for one single frame, Corki predicts the trajectory for the near future to reduce the frequency of LLM inference. The algorithm is coupled with a hardware that accelerates transforming trajectory into actual torque signals used to control robots and an execution pipeline that parallels data communication with computation. Corki largely reduces LLM inference frequency by up to 8.0x, resulting in up to 3.6x speed up. The success rate improvement can be up to 17.3%. Code is provided for re-implementation. https://github.com/hyy0613/Corki

arxiv情報

提供元, 利用サービス

arxiv.jp, Google