Small Language Models: Architectures, Techniques, Evaluation, Problems and Future Adaptation

要約

小言語モデル（SLM）は、より少ないコンピューターリソースを使用しながら、多様な言語タスクを正常に実行する能力により、大きな注目を集めています。
これらのモデルは、モバイルデバイス、デバイス上の処理、エッジシステムなどの限られた環境での展開に特に理想的です。
この研究では、SLMの完全な評価を提示し、モデルのサイズと複雑さを下げるための設計フレームワーク、トレーニングアプローチ、および技術に焦点を当てています。
剪定、量子化、モデル圧縮などの戦略を含むSLMに適用される最適化アプローチを整理するための新しい分類システムを提供します。
さらに、SLMの既存のデータセットを使用して評価スイートのSLMの研究を組み立て、SLM機能を測定するための厳しいプラットフォームを確立します。
これに加えて、効率とパフォーマンスのトレードオフを含む、この分野で未解決のままである重要な困難について説明し、将来の研究の方向性を提案します。
この研究は、コンパクトで効率的で高性能な言語モデルを構築することを目的とした研究者と実践者のための有益なガイドとして役立つと予想しています。

要約(オリジナル)

Small Language Models (SLMs) have gained substantial attention due to their ability to execute diverse language tasks successfully while using fewer computer resources. These models are particularly ideal for deployment in limited environments, such as mobile devices, on-device processing, and edge systems. In this study, we present a complete assessment of SLMs, focussing on their design frameworks, training approaches, and techniques for lowering model size and complexity. We offer a novel classification system to organize the optimization approaches applied for SLMs, encompassing strategies like pruning, quantization, and model compression. Furthermore, we assemble SLM’s studies of evaluation suite with some existing datasets, establishing a rigorous platform for measuring SLM capabilities. Alongside this, we discuss the important difficulties that remain unresolved in this sector, including trade-offs between efficiency and performance, and we suggest directions for future study. We anticipate this study to serve as a beneficial guide for researchers and practitioners who aim to construct compact, efficient, and high-performing language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google