Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless Systems

要約

大規模言語モデル (LLM) と基盤モデルは、最近 6G システムの変革をもたらすものとして宣伝されています。
ただし、ワイヤレス ネットワーク用の LLM に関する最近の取り組みは、自然言語処理 (NLP) アプリケーション用に設計された既存の言語モデルの直接適用に限定されています。
この課題に対処し、ワイヤレス中心の基盤モデルを作成するために、このペーパーでは、人工知能 (AI) ネイティブ ネットワークの展開に合わせて調整されたユニバーサル基盤モデルを設計する方法に関する包括的なビジョンを示します。
NLP ベースの基礎モデルから分岐して、提案されたフレームワークは、3 つの主要な機能によって促進される大規模なマルチモーダル モデル (LMM) の設計を促進します: 1) マルチモーダル センシング データの処理、2) 現実世界における物理シンボル表現の基礎
因果推論と検索拡張生成 (RAG) を使用するワイヤレス システム、および 3) 神経記号 AI によって促進される論理的および数学的推論のおかげで、動的なネットワーク適応を促進するためのワイヤレス環境フィードバックからの指示可能性を可能にします。
本質的に、これらのプロパティにより、提案されている LMM フレームワークは、さまざまなクロスレイヤ ネットワーキング タスクやさまざまなドメインにわたるインテントの調整に対応する汎用機能を構築できます。
実験評価の予備結果は、LMM で RAG を使用した接地の有効性を実証し、LMM とワイヤレス システム設計の整合性を示しています。
さらに、バニラ LLM と比較して、LMM による数学的質問への応答で示される論理的根拠の強化は、LMM に固有の論理的および数学的推論能力を示しています。
これらの結果に基づいて、LMM に対する未解決の質問と課題の続編を提示します。
次に、LMM を活用した AI ネイティブ システムへの道を切り開く一連の推奨事項で締めくくります。

要約(オリジナル)

Large language models (LLMs) and foundation models have been recently touted as a game-changer for 6G systems. However, recent efforts on LLMs for wireless networks are limited to a direct application of existing language models that were designed for natural language processing (NLP) applications. To address this challenge and create wireless-centric foundation models, this paper presents a comprehensive vision on how to design universal foundation models that are tailored towards the deployment of artificial intelligence (AI)-native networks. Diverging from NLP-based foundation models, the proposed framework promotes the design of large multi-modal models (LMMs) fostered by three key capabilities: 1) processing of multi-modal sensing data, 2) grounding of physical symbol representations in real-world wireless systems using causal reasoning and retrieval-augmented generation (RAG), and 3) enabling instructibility from the wireless environment feedback to facilitate dynamic network adaptation thanks to logical and mathematical reasoning facilitated by neuro-symbolic AI. In essence, these properties enable the proposed LMM framework to build universal capabilities that cater to various cross-layer networking tasks and alignment of intents across different domains. Preliminary results from experimental evaluation demonstrate the efficacy of grounding using RAG in LMMs, and showcase the alignment of LMMs with wireless system designs. Furthermore, the enhanced rationale exhibited in the responses to mathematical questions by LMMs, compared to vanilla LLMs, demonstrates the logical and mathematical reasoning capabilities inherent in LMMs. Building on those results, we present a sequel of open questions and challenges for LMMs. We then conclude with a set of recommendations that ignite the path towards LMM-empowered AI-native systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google