NetGPT: A Native-AI Network Architecture Beyond Provisioning Personalized Generative Services

要約

大規模言語モデル (LLM) は、生成情報によって日常生活に力を与えるという大きな成功を引き起こしており、LLM のパーソナライゼーションは、人間の意図との整合性が高まるため、そのアプリケーションにさらに貢献できる可能性があります。
パーソナライズされた生成サービスに向けては、異種分散通信およびコンピューティング リソースの効果的なオーケストレーションを容易にするクラウド エッジの協調的な方法論が有望に思えます。
この記事では、いくつかの候補となるクラウドとエッジのコラボレーション技術の長所と短所を議論した後、エッジとクラウドのコンピューティング能力に応じて適切な LLM を適切に展開できる NetGPT を提案しました。
さらに、エッジ LLM は位置ベースの情報を効率的に活用して、パーソナライズされたプロンプト完了を実現できるため、クラウド LLM との対話にメリットが得られます。
代表的なオープンソース LLM (GPT-2 ベースや LLaMA モデルなど) をエッジとクラウドに展開した後、低ランク適応ベースの軽量微調整に基づいて NetGPT の実現可能性を示します。
続いて、通信とコンピューティング リソースのより深い統合と論理 AI ワークフローの慎重な調整に特に重点を置き、NetGPT に向けたネイティブ人工知能 (AI) ネットワーク アーキテクチャに必要な実質的な本質的な変更を強調します。
さらに、傾向を予測し、意図を推測するエッジ LLM の驚くべき機能を考慮して、NetGPT の副産物としての利点がいくつか示されており、これがインテリジェントなネットワーク管理およびオーケストレーションのための統合ソリューションにつながる可能性があります。
一言で言えば、NetGPT はパーソナライズされた生成サービスのプロビジョニングを超えた、有望なネイティブ AI ネットワーク アーキテクチャであると私たちは主張します。

要約(オリジナル)

Large language models (LLMs) have triggered tremendous success to empower daily life by generative information, and the personalization of LLMs could further contribute to their applications due to better alignment with human intents. Towards personalized generative services, a collaborative cloud-edge methodology sounds promising, as it facilitates the effective orchestration of heterogeneous distributed communication and computing resources. In this article, after discussing the pros and cons of several candidate cloud-edge collaboration techniques, we put forward NetGPT to capably deploy appropriate LLMs at the edge and the cloud in accordance with their computing capacity. In addition, edge LLMs could efficiently leverage location-based information for personalized prompt completion, thus benefiting the interaction with cloud LLMs. After deploying representative open-source LLMs (e.g., GPT-2-base and LLaMA model) at the edge and the cloud, we present the feasibility of NetGPT on the basis of low-rank adaptation-based light-weight fine-tuning. Subsequently, we highlight substantial essential changes required for a native artificial intelligence (AI) network architecture towards NetGPT, with special emphasis on deeper integration of communications and computing resources and careful calibration of logical AI workflow. Furthermore, we demonstrate several by-product benefits of NetGPT, given edge LLM’s astonishing capability to predict trends and infer intents, which possibly leads to a unified solution for intelligent network management \& orchestration. In a nutshell, we argue that NetGPT is a promising native-AI network architecture beyond provisioning personalized generative services.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google