Slimming Down LLMs Without Losing Their Minds

要約

このホワイトペーパーでは、パラメーター効率の高い方法（LORAおよびQlora）に焦点を当てた、大規模な言語モデルのパフォーマンスに対する微調整の影響を調査および検証します。
3つの主要なドメインにわたってモデル機能を評価します。（1）Commonsense Reasoning（Hellaswag）、（2）数学的推論（GSM8K）、および（3）マルチドメイン知識（MMLU-CS）。
（1）LORAベースの方法は、計算効率を維持しながらタスク固有のパフォーマンスを効果的に改善し、（2）パフォーマンスは微調整データセットとベンチマークタスクの間のアラインメントに大きく依存します。
この研究は、限られたリソースで効率的なLLM適応を実装する開発者のためのパラメーター効率の高いメカニズムに関する理論的洞察と実用的なガイダンスの両方を提供します。

要約(オリジナル)

This paper investigates and validates the impact of fine-tuning on large language model performance, focusing on parameter-efficient methods (LoRA and QLoRA). We evaluate model capabilities across three key domains: (1) commonsense reasoning (HellaSwag), (2) mathematical reasoning (GSM8K), and (3) multi-domain knowledge (MMLU-CS). Our findings demonstrate that: (1) LoRA-based methods effectively improve task-specific performance while maintaining computational efficiency, and (2) performance strongly depends on alignment between fine-tuning dataset and benchmark tasks. The study provides both theoretical insights into parameter-efficient mechanisms and practical guidance for developers implementing efficient LLM adaptation with limited resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google