Latte: Transfering LLMs` Latent-level Knowledge for Few-shot Tabular Learning

要約

機械学習モデルが限られた量のラベル付きデータでトレーニングされている少数の球形学習は、実際の課題に対処するための費用対効果の高いアプローチを提供します。
大規模な言語モデル（LLMS）の出現は、少数のショットの表形式学習のために事前に訓練された知識を活用することに関心を集めました。
有望な結果にもかかわらず、既存のアプローチは、望ましくないレイテンシを導入するテスト時間の知識抽出に依存しているか、信頼できない機能エンジニアリングにつながるテキストレベルの知識を導入します。
これらの制限を克服するために、より一般化されたダウンストリームモデルを最適化するためにLLMS内の潜在的な事前知識を転送するトレーニング時間の知識抽出フレームワークであるLatteを提案します。
Latteは、一般的な知識誘導下流の表形式学習を可能にし、さまざまな機能値にわたる情報の加重融合を促進し、限られたラベル付きデータに過剰適合のリスクを減らします。
さらに、Latteは既存の教師なしの事前トレーニングパラダイムと互換性があり、利用可能な非標識サンプルを効果的に利用して、非常に小さなラベル付きデータセットによって課されるパフォーマンスの制限を克服します。
さまざまな少ないショットの表形式学習ベンチマークでの広範な実験は、ラテの優れた性能を示しており、このドメインで最先端のアプローチとして確立されています

要約(オリジナル)

Few-shot tabular learning, in which machine learning models are trained with a limited amount of labeled data, provides a cost-effective approach to addressing real-world challenges. The advent of Large Language Models (LLMs) has sparked interest in leveraging their pre-trained knowledge for few-shot tabular learning. Despite promising results, existing approaches either rely on test-time knowledge extraction, which introduces undesirable latency, or text-level knowledge, which leads to unreliable feature engineering. To overcome these limitations, we propose Latte, a training-time knowledge extraction framework that transfers the latent prior knowledge within LLMs to optimize a more generalized downstream model. Latte enables general knowledge-guided downstream tabular learning, facilitating the weighted fusion of information across different feature values while reducing the risk of overfitting to limited labeled data. Furthermore, Latte is compatible with existing unsupervised pre-training paradigms and effectively utilizes available unlabeled samples to overcome the performance limitations imposed by an extremely small labeled dataset. Extensive experiments on various few-shot tabular learning benchmarks demonstrate the superior performance of Latte, establishing it as a state-of-the-art approach in this domain

arxiv情報

提供元, 利用サービス

arxiv.jp, Google