Zero-Shot Decision Tree Construction via Large Language Models

要約

このペーパーでは、分類および回帰ツリー（CART）の原理に基づいて、大規模な言語モデル（LLMS）を使用してゼロショット方法で決定ツリーを構築するための新しいアルゴリズムを紹介します。
従来の決定ツリー誘導方法は、情報ゲインやGINIインデックスなどの基準を使用して、ラベル付きデータに大きく依存してデータを再帰的に分割します。
対照的に、LLMSに組み込まれた事前に訓練された知識を使用して、トレーニングデータを必要とせずに決定ツリーを構築する方法を提案します。
当社のアプローチは、LLMを活用して、属性の離散化、確率計算、および確率に基づいたGINIインデックス計算など、意思決定ツリーの構築に不可欠な操作を実行します。
これらのゼロショット決定ツリーは、ベースラインのゼロショットメソッドよりも優れており、表形式のデータセット上の監視されたデータ駆動型決定ツリーと比較して競争力のあるパフォーマンスを実現できることを示します。
この方法で構築された決定ツリーは、解釈可能性を維持しながらデータ不足に対処する透明で解釈可能なモデルを提供します。
この作業は、低データの機械学習に新しいベースラインを確立し、データ駆動型のツリー構造に代わる原則的で知識主導の代替品を提供します。

要約(オリジナル)

This paper introduces a novel algorithm for constructing decision trees using large language models (LLMs) in a zero-shot manner based on Classification and Regression Trees (CART) principles. Traditional decision tree induction methods rely heavily on labeled data to recursively partition data using criteria such as information gain or the Gini index. In contrast, we propose a method that uses the pre-trained knowledge embedded in LLMs to build decision trees without requiring training data. Our approach leverages LLMs to perform operations essential for decision tree construction, including attribute discretization, probability calculation, and Gini index computation based on the probabilities. We show that these zero-shot decision trees can outperform baseline zero-shot methods and achieve competitive performance compared to supervised data-driven decision trees on tabular datasets. The decision trees constructed via this method provide transparent and interpretable models, addressing data scarcity while preserving interpretability. This work establishes a new baseline in low-data machine learning, offering a principled, knowledge-driven alternative to data-driven tree construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google