Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models

要約

大規模言語モデル (LLM) は、テキスト処理において優れたパフォーマンスを示しています。
特に、LLM は大規模なデータセットからの情報を合成し、思考連鎖 (CoT) を通じて人間の推論と同様に決定を説明できます。
LLM の新たなアプリケーションは数値データの処理と解釈であり、微調整により基本的な推論方法よりもパフォーマンスが向上します。
この論文では、ランダム フォレスト (RF) アンサンブルからの知識伝達を使用し、その効率と精度を活用して LLM をトレーニングする新しいアプローチを提案します。
RF 意思決定パスを自然言語ステートメントに変換することで、LLM 微調整用の出力を生成し、モデルの意思決定を分類して説明する能力を強化します。
私たちの方法には、確立された分類メトリックを通じてこれらのルールを検証し、その正確さを保証することが含まれています。
また、前処理技術が数値データの表現に及ぼす影響や、前処理技術が分類精度やルールの正しさに及ぼす影響も調査します。

要約(オリジナル)

Large Language Models (LLMs) have shown exceptional performance in text processing. Notably, LLMs can synthesize information from large datasets and explain their decisions similarly to human reasoning through a chain of thought (CoT). An emerging application of LLMs is the handling and interpreting of numerical data, where fine-tuning enhances their performance over basic inference methods. This paper proposes a novel approach to training LLMs using knowledge transfer from a random forest (RF) ensemble, leveraging its efficiency and accuracy. By converting RF decision paths into natural language statements, we generate outputs for LLM fine-tuning, enhancing the model’s ability to classify and explain its decisions. Our method includes verifying these rules through established classification metrics, ensuring their correctness. We also examine the impact of preprocessing techniques on the representation of numerical data and their influence on classification accuracy and rule correctness

arxiv情報

提供元, 利用サービス

arxiv.jp, Google