Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard

要約

機械学習における基本的なデータ形式である表形式データは、主に競合や現実世界のアプリケーションで利用されています。
勾配モデルのパフォーマンスは、勾配が決定ツリーやニューラルネットワークを強化するなど、特徴分布とタスク特性の違いによりデータセット間で大きく異なります。
各データセットで最高のパフォーマンスを達成するには、多くの場合、専門的な専門知識が必要です。
この変動に対処するために、実践者はしばしば複数のモデルの予測を集約します。
ただし、従来の集約戦略は通常、静的な組み合わせルールに依存しており、インスタンスレベルの適応性を欠いています。
この作業では、外部モデル予測の動的でインスタンス固有の統合を実行するために大規模な言語モデル（LLM）を活用する表形式予測のコンテキスト内アンサンブルフレームワークを提案します。
生の表形式の機能やセマンティック情報へのアクセスがないと、この方法は、最近傍と外部モデルのプールからの予測を使用して、各テストインスタンスの周りにコンテキストを構築します。
この濃縮されたコンテキスト内では、マルチステップで解釈可能な推論を導くプロンプト戦略である表形式の思考のチェーン（Cot $^2 $）を紹介し、専門家レベルの意思決定に向けてさらに進歩します。
実験結果は、私たちの方法が、広範囲の表形式データセットにわたって、よく調整されたベースラインと標準のアンサンブル技術を上回ることを示しています。

要約(オリジナル)

Tabular data, a fundamental data format in machine learning, is predominantly utilized in competitions and real-world applications. The performance of tabular models–such as gradient boosted decision trees and neural networks–can vary significantly across datasets due to differences in feature distributions and task characteristics. Achieving top performance on each dataset often requires specialized expert knowledge. To address this variability, practitioners often aggregate the predictions of multiple models. However, conventional aggregation strategies typically rely on static combination rules and lack instance-level adaptability. In this work, we propose an in-context ensemble framework for tabular prediction that leverages large language models (LLMs) to perform dynamic, instance-specific integration of external model predictions. Without access to raw tabular features or semantic information, our method constructs a context around each test instance using its nearest neighbors and the predictions from a pool of external models. Within this enriched context, we introduce Chain of Tabular Thoughts (CoT$^2$), a prompting strategy that guides LLMs through multi-step, interpretable reasoning, making still further progress toward expert-level decision-making. Experimental results show that our method outperforms well-tuned baselines and standard ensemble techniques across a wide range of tabular datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google