Self-optimizing Feature Generation via Categorical Hashing Representation and Hierarchical Reinforcement Crossing

要約

特徴生成は、識別表現空間を作成するために新しく意味のある特徴を生成することを目的としています。生成された特徴が意味を持つのは、生成された特徴が固有の特徴相互作用を持つ特徴ペアからのものである場合です。
現実の世界では、経験豊富なデータ サイエンティストは、潜在的に有用な特徴間の相互作用を特定し、指数関数的に大きな検索空間から、最適な生成パスにわたる最適な交差形式で意味のあるディメンションを生成できます。
しかし、機械の人間のような能力には限界があります。私たちはそのような学習タスクを自己最適化特徴生成として一般化します。
自己最適化機能生成は、意味があり、堅牢で、効率的な生成という、まだ対処されていないいくつかの課題を既存のシステムに課します。
これらの課題に取り組むために、自己最適化特徴生成を解決するための原則に基づいた一般的な表現横断フレームワークを提案します。ハッシュ表現を実現するために、特徴離散化、特徴ハッシュ、記述的要約の 3 段階のアプローチを提案します。
鉄筋交差を実現するために、階層的な鉄筋フィーチャ交差アプローチを開発します。提案された方法の有効性と効率を実証するために広範な実験結果を提示します。
コードは https://github.com/yingwangyang/HRC_feature_cross.git で入手できます。

要約(オリジナル)

Feature generation aims to generate new and meaningful features to create a discriminative representation space.A generated feature is meaningful when the generated feature is from a feature pair with inherent feature interaction. In the real world, experienced data scientists can identify potentially useful feature-feature interactions, and generate meaningful dimensions from an exponentially large search space, in an optimal crossing form over an optimal generation path. But, machines have limited human-like abilities.We generalize such learning tasks as self-optimizing feature generation. Self-optimizing feature generation imposes several under-addressed challenges on existing systems: meaningful, robust, and efficient generation. To tackle these challenges, we propose a principled and generic representation-crossing framework to solve self-optimizing feature generation.To achieve hashing representation, we propose a three-step approach: feature discretization, feature hashing, and descriptive summarization. To achieve reinforcement crossing, we develop a hierarchical reinforcement feature crossing approach.We present extensive experimental results to demonstrate the effectiveness and efficiency of the proposed method. The code is available at https://github.com/yingwangyang/HRC_feature_cross.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google