LBC: Language-Based-Classifier for Out-Of-Variable Generalization

要約

大規模言語モデル (LLM) は、応答生成などの自然言語処理タスクで大きな成功を収めています。
ただし、XGBoost などの従来の機械学習モデル (TML) と比較してパフォーマンスが劣るため、表形式データでの使用は制限されてきました。
LLM の事前トレーニングされた知識により、LLM は追加のトレーニングなしでテストに現れる新しい変数を解釈できることがわかりました。これは変数外 (OOV) の概念の中心となる機能です。
この発見から、私たちは LBC (Language-Based-Classifier) を提案します。これは、OOV タスクで TML を上回る LLM の利点を最大限に活用する分類器です。
LBC は 3 つの主要な方法論戦略を採用しています。1) モデルの理解によりよく適合するようにデータを調整するためのカテゴリ変更、2) モデルへのデータ表現を強化するための高度な順序と指標、3) 推論中に言語化ツールを使用してロジット スコアをクラスにマッピングし、生成する
モデルの予測。
これらの戦略は、LBC の事前トレーニングされた知識と組み合わせることで、OOV タスクを効果的に処理するモデルの能力を強調します。
LBCの優位性を実証的、理論的に検証します。
LBC は、LLM ベースのモデルを OOV タスクに適用した最初の研究です。
ソース コードは https://github.com/ASDASDanonymous/Language-Based-Classifier-forOOVtasks にあります。

要約(オリジナル)

Large Language Models (LLMs) have great success in natural language processing tasks such as response generation. However, their use in tabular data has been limited due to their inferior performance compared to traditional machine learning models (TMLs) such as XGBoost. We find that the pre-trained knowledge of LLMs enables them to interpret new variables that appear in a test without additional training, a capability central to the concept of Out-of-Variable (OOV). From the findings, we propose a Language-Based-Classifier (LBC), a classifier that maximizes the benefits of LLMs to outperform TMLs on OOV tasks. LBC employs three key methodological strategies: 1) Categorical changes to adjust data to better fit the model’s understanding, 2) Advanced order and indicator to enhance data representation to the model, and 3) Using verbalizer to map logit scores to classes during inference to generate model predictions. These strategies, combined with the pre-trained knowledge of LBC, emphasize the model’s ability to effectively handle OOV tasks. We empirically and theoretically validate the superiority of LBC. LBC is the first study to apply an LLM-based model to OOV tasks. The source code is at https://github.com/ASDASDanonymous/Language-Based-Classifier-forOOVtasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google