Large Language Models as Attribution Regularizers for Efficient Model Training

要約

大規模な言語モデル（LLM）は、多様なドメイン全体で顕著なパフォーマンスを実証しています。
ただし、より小さなダウンストリームモデルをトレーニングするための膨大な知識を効果的に活用することは、特に表形式のデータ学習などのドメインでは、解釈可能性と効率のためによりシンプルなモデルが好まれることが多い場合があります。
このホワイトペーパーでは、LLMが生成したグローバルタスク機能の属性を小規模なネットワークのトレーニングプロセスに組み込むための新しいものでありながら簡単な方法を紹介します。
具体的には、小規模モデルのトレーニングダイナミクスをLLMが提供する洞察を整列させる帰属マッチングの正規化用語を提案します。
そうすることで、私たちのアプローチは、少ないショット学習シナリオで優れたパフォーマンスをもたらします。
特に、この方法ではLLMへのブラックボックスAPIアクセスのみが必要であり、最小限の計算オーバーヘッドで既存のトレーニングパイプラインに簡単に統合できます。
さらに、この方法を使用して、歪度やバイアスなどの実際のデータセットの一般的な問題に対処する方法を示します。
LLMSからの高レベルの知識を統合することにより、トレーニングデータが制限または不均衡な場合でも、当社のアプローチは一般化を改善します。
複数のタスクにわたる広範な実験を通じてその有効性を検証し、学習効率とモデルの堅牢性の向上を実証します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable performance across diverse domains. However, effectively leveraging their vast knowledge for training smaller downstream models remains an open challenge, especially in domains like tabular data learning, where simpler models are often preferred due to interpretability and efficiency. In this paper, we introduce a novel yet straightforward method for incorporating LLM-generated global task feature attributions into the training process of smaller networks. Specifically, we propose an attribution-matching regularization term that aligns the training dynamics of the smaller model with the insights provided by the LLM. By doing so, our approach yields superior performance in few-shot learning scenarios. Notably, our method requires only black-box API access to the LLM, making it easy to integrate into existing training pipelines with minimal computational overhead. Furthermore, we demonstrate how this method can be used to address common issues in real-world datasets, such as skewness and bias. By integrating high-level knowledge from LLMs, our approach improves generalization, even when training data is limited or imbalanced. We validate its effectiveness through extensive experiments across multiple tasks, demonstrating improved learning efficiency and model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google