Learnware of Language Models: Specialized Small Language Models Can Do Big

要約

Learnwareパラダイムは、ユーザーがモデルの元の目的を超えて、タスクのよく訓練されたモデルのセットを再利用できるようにすることにより、機械学習に対する新しいアプローチを提供します。
モデルをゼロから構築する必要性を排除し、代わりに、新しいタスクに最適なモデルを特定して活用するために、仕様（モデルの機能の表現）に依存します。
Learnwareは多くのシナリオで効果的であることが証明されていますが、言語モデルへのアプリケーションはほとんど未開拓のままです。
同時に、大規模な言語モデル（LLMS）は驚くべき普遍的な質問を回避する能力を実証していますが、データの希少性、プライバシーの懸念、および高い計算コストにより、専門的なシナリオで課題に直面しているため、特定のドメインのためにますます専門化された小言語モデル（SLM）が訓練されています。
これらの制限に体系的に対処するために、学習ウェアパラダイムは、特殊なSLMを最大限に活用し、ユーザーがコラボレーションおよびプライバシー提示の方法でそれらを識別および再利用できるようにすることにより、有望なソリューションを提供します。
このペーパーでは、Learnwareパラダイムを言語モデルに適用する予備的な試みを提示します。
8Bパラメーターを備えた約100の学習給与の専門的なSLMで構成される学習ウェアシステムをシミュレートしました。これは、金融、ヘルスケア、数学ドメイン全体で微調整されています。
各学習ウェアには、SLMと仕様が含まれているため、ユーザーは独自のデータを公開せずに最も関連性の高いモデルを識別できます。
実験結果は有望なパフォーマンスを示します。タスク固有の推論ごとに適切な学習ウェアを1つ選択することにより、システムはすべてのベンチマークのベースSLMを上回ります。
LLMSと比較して、システムはQWEN1.5-110B、QWEN2.5-72B、およびLLAMA3.1-70B-Instructを金融ドメインタスクで少なくとも14％上回り、Flan-PALM-540B（オープンメディカルLLMリーダーボードで7位）を超えています。

要約(オリジナル)

The learnware paradigm offers a novel approach to machine learning by enabling users to reuse a set of well-trained models for tasks beyond the models’ original purposes. It eliminates the need to build models from scratch, instead relying on specifications (representations of a model’s capabilities) to identify and leverage the most suitable models for new tasks. While learnware has proven effective in many scenarios, its application to language models has remained largely unexplored. At the same time, large language models (LLMs) have demonstrated remarkable universal question-answering abilities, yet they face challenges in specialized scenarios due to data scarcity, privacy concerns, and high computational costs, thus more and more specialized small language models (SLMs) are being trained for specific domains. To address these limitations systematically, the learnware paradigm provides a promising solution by enabling maximum utilization of specialized SLMs, and allowing users to identify and reuse them in a collaborative and privacy-preserving manner. This paper presents a preliminary attempt to apply the learnware paradigm to language models. We simulated a learnware system comprising approximately 100 learnwares of specialized SLMs with 8B parameters, fine-tuned across finance, healthcare, and mathematics domains. Each learnware contains an SLM and a specification, which enables users to identify the most relevant models without exposing their own data. Experimental results demonstrate promising performance: by selecting one suitable learnware for each task-specific inference, the system outperforms the base SLMs on all benchmarks. Compared to LLMs, the system outperforms Qwen1.5-110B, Qwen2.5-72B, and Llama3.1-70B-Instruct by at least 14% in finance domain tasks, and surpasses Flan-PaLM-540B (ranked 7th on the Open Medical LLM Leaderboard) in medical domain tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google