LLM4FS: Leveraging Large Language Models for Feature Selection and How to Improve It

要約

大規模な言語モデル（LLMS）の最近の進歩は、特に自動化された機能選択のタスクにおいて、意思決定の新しい機会を提供しました。
この論文では、最初にLLMベースの特徴選択方法を包括的に評価し、最先端のDeepSeek-R1、GPT-O3-MINI、およびGPT-4.5をカバーします。
次に、LLMを従来のデータ駆動型メソッドと統合するLLM4FSと呼ばれる新しいハイブリッド戦略を提案します。
具体的には、データサンプルをLLMに入力し、ランダムフォレストやフォワードシーケンシャル選択などの従来のデータ駆動型手法を直接呼び出します。
特に、我々の分析により、ハイブリッド戦略は、LLMSのコンテキスト的理解と、LLMSや従来のデータ駆動型方法を上回ることさえ、優れた機能選択パフォーマンスを実現するための従来のデータ駆動型方法の高い統計的信頼性を活用していることが明らかになりました。
最後に、意思決定におけるアプリケーションの限界を指摘します。

要約(オリジナル)

Recent advances in large language models (LLMs) have provided new opportunities for decision-making, particularly in the task of automated feature selection. In this paper, we first comprehensively evaluate LLM-based feature selection methods, covering the state-of-the-art DeepSeek-R1, GPT-o3-mini, and GPT-4.5. Then, we propose a novel hybrid strategy called LLM4FS that integrates LLMs with traditional data-driven methods. Specifically, input data samples into LLMs, and directly call traditional data-driven techniques such as random forest and forward sequential selection. Notably, our analysis reveals that the hybrid strategy leverages the contextual understanding of LLMs and the high statistical reliability of traditional data-driven methods to achieve excellent feature selection performance, even surpassing LLMs and traditional data-driven methods. Finally, we point out the limitations of its application in decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google