ICE-SEARCH: A Language Model-Driven Feature Selection Approach

要約

本研究では、言語モデル（LM）を特徴選択（FS）タスクのための進化的アルゴリズムと融合させた初の研究であるIn-Context Evolutionary Search（ICE-SEARCH）手法を公開し、医療予測分析（MPA）アプリケーションにおけるその有効性を実証する。ICE-SEARCHは、進化的フレームワークの中でLMに内在するクロスオーバーとミューテーションの能力を活用し、モデルの包括的な世界知識と様々な役割への適応性によってFSを大幅に改善する。この手法の評価は、脳卒中、心血管疾患、糖尿病という3つの重要なMPAタスクに及んでおり、ICE-SEARCHは、医療アプリケーションに不可欠な特徴をピンポイントで特定する点において、従来のFS手法を凌駕している。ICE-SEARCHは、脳卒中予測および糖尿病予測においてState-of-the-Art（SOTA）の性能を達成し、Decision-Randomized ICE-SEARCHは心血管疾患予測においてSOTAにランクされた。本研究の結果は、ICE-SEARCHの医療FSにおける有効性を実証するだけでなく、LMをFSタスクに統合することの汎用性、効率性、スケーラビリティを強調するものである。本研究は、ICE-SEARCHの頑健性、一般化可能性、迅速な収束性を示し、ドメイン固有の洞察を取り入れることの重要な役割を強調している。これにより、包括的で複雑なFSランドスケープに関する更なる研究への道が開かれ、医療予測分析における人工知能の応用に大きな前進がもたらされる。

要約(オリジナル)

This study unveils the In-Context Evolutionary Search (ICE-SEARCH) method, the first work that melds language models (LMs) with evolutionary algorithms for feature selection (FS) tasks and demonstrates its effectiveness in Medical Predictive Analytics (MPA) applications. ICE-SEARCH harnesses the crossover and mutation capabilities inherent in LMs within an evolutionary framework, significantly improving FS through the model’s comprehensive world knowledge and its adaptability to a variety of roles. Our evaluation of this methodology spans three crucial MPA tasks: stroke, cardiovascular disease, and diabetes, where ICE-SEARCH outperforms traditional FS methods in pinpointing essential features for medical applications. ICE-SEARCH achieves State-of-the-Art (SOTA) performance in stroke prediction and diabetes prediction; the Decision-Randomized ICE-SEARCH ranks as SOTA in cardiovascular disease prediction. Our results not only demonstrate the efficacy of ICE-SEARCH in medical FS but also underscore the versatility, efficiency, and scalability of integrating LMs in FS tasks. The study emphasizes the critical role of incorporating domain-specific insights, illustrating ICE-SEARCH’s robustness, generalizability, and swift convergence. This opens avenues for further research into comprehensive and intricate FS landscapes, marking a significant stride in the application of artificial intelligence in medical predictive analytics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL