Improving In-Context Learning with Small Language Model Ensembles

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れた機能を示していますが、ドメイン固有のタスクにおけるパフォーマンスは依然として限定的です。
検索拡張生成や微調整などの方法はこれに対処するのに役立ちますが、大量のリソースが必要です。
インコンテキスト学習 (ICL) は安価で効率的な代替手段ですが、高度な手法の精度には及びません。
複数の微調整された小型言語モデル (SLM) の専門知識を活用して ICL を強化する新しいアプローチである Ensemble SuperICL を紹介します。
Ensemble SuperICL は、いくつかの自然言語理解ベンチマークで最先端 (SoTA) の結果を達成しています。
さらに、医療ドメインのラベル付けタスクでテストし、一般的な言語タスクに合わせて微調整された既製の SLM を使用してその実用性を実証し、大規模なデータのラベル付けですべてのベースラインと比較して優れた精度を達成しました。
最後に、アンサンブル SuperICL の根底にあるメカニズムを解明するために、アブレーション研究と感度分析を実施します。
私たちの研究は、LLM における効率的なドメイン特化手法に対する需要の高まりに貢献し、実務者に安価で効果的な手法を提供します。

要約(オリジナル)

Large language models (LLMs) have shown impressive capabilities across various tasks, but their performance on domain-specific tasks remains limited. While methods like retrieval augmented generation and fine-tuning can help to address this, they require significant resources. In-context learning (ICL) is a cheap and efficient alternative but cannot match the accuracies of advanced methods. We present Ensemble SuperICL, a novel approach that enhances ICL by leveraging the expertise of multiple fine-tuned small language models (SLMs). Ensemble SuperICL achieves state of the art (SoTA) results on several natural language understanding benchmarks. Additionally, we test it on a medical-domain labelling task and showcase its practicality by using off-the-shelf SLMs fine-tuned on a general language task, achieving superior accuracy in large-scale data labelling compared to all baselines. Finally, we conduct an ablation study and sensitivity analyses to elucidate the underlying mechanism of Ensemble SuperICL. Our research contributes to the growing demand for efficient domain specialisation methods in LLMs, offering a cheap and effective method for practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google