A Survey on Collaborative Mechanisms Between Large and Small Language Models

要約

大規模な言語モデル（LLM）は強力なAI機能を提供しますが、リソースコストと遅延が高いため、展開の課題に直面していますが、小言語モデル（SLM）はパフォーマンスの低下をコストで効率と展開性を提供します。
LLMSとSLMSのコラボレーションは、これらのトレードオフを相乗的にバランスさせるための重要なパラダイムとして生まれ、特にリソース制約のエッジデバイスで高度なAIアプリケーションを可能にします。
この調査では、LLM-SLMコラボレーションの包括的な概要を提供し、さまざまな相互作用メカニズム（パイプライン、ルーティング、補助、蒸留、融合）、キー有効化テクノロジー、および低遅延、プライバシー、パーソナライズ、およびオフライン操作などのデベイスのニーズが促進する多様なアプリケーションシナリオを詳述します。
より効率的で適応性があり、アクセス可能なAIを作成するための重要な可能性を強調しながら、システムオーバーヘッド、モデル間の一貫性、堅牢なタス​​ク割り当て、評価の複雑さ、セキュリティ/プライバシーの懸念など、持続的な課題についても説明します。
将来の方向性は、よりインテリジェントな適応フレームワーク、より深いモデルの融合、およびマルチモーダルおよび具体化されたAIへの拡大を指し、次世代の実用的でユビキタスな人工知能の重要なドライバーとしてLLM-SLMコラボレーションを配置します。

要約(オリジナル)

Large Language Models (LLMs) deliver powerful AI capabilities but face deployment challenges due to high resource costs and latency, whereas Small Language Models (SLMs) offer efficiency and deployability at the cost of reduced performance. Collaboration between LLMs and SLMs emerges as a crucial paradigm to synergistically balance these trade-offs, enabling advanced AI applications, especially on resource-constrained edge devices. This survey provides a comprehensive overview of LLM-SLM collaboration, detailing various interaction mechanisms (pipeline, routing, auxiliary, distillation, fusion), key enabling technologies, and diverse application scenarios driven by on-device needs like low latency, privacy, personalization, and offline operation. While highlighting the significant potential for creating more efficient, adaptable, and accessible AI, we also discuss persistent challenges including system overhead, inter-model consistency, robust task allocation, evaluation complexity, and security/privacy concerns. Future directions point towards more intelligent adaptive frameworks, deeper model fusion, and expansion into multimodal and embodied AI, positioning LLM-SLM collaboration as a key driver for the next generation of practical and ubiquitous artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google