Stochastic gradient descent with gradient estimator for categorical features

要約

【タイトル】カテゴリカルな特徴に対する勾配推定子を用いた確率的勾配降下法

【要約】

– 健康やサプライチェーンなどの重要な分野でカテゴリカルデータが存在し、これらのデータには特別な処理が必要。
– 最近の機械学習モデルをこのようなデータに適用するには、エンコードが必要。
– 一貫性のあるモデルを作成するために、ワンホットエンコードはまだ非常に良い解決策であるが、このようなエンコードはスパースデータを作成する。
– 勾配推定子はスパースデータに適していない。勾配は主にゼロとして考慮されるが、それは単に存在しない場合もあるため、新しい勾配推定子が紹介される。
– 理論上、この推定子が最小限にするものを示し、複数のモデルアーキテクチャを持つさまざまなデータセットでの効率を示す。この新しい推定子は、同様の設定下で一般的な推定子よりも優れたパフォーマンスを発揮する。
– 匿名化された実世界の小売データセットも公開される。
– この論文の目的は、カテゴリカルデータを徹底的に考慮し、モデルと最適化手法をこれらの重要な特徴に適応させることである。

要約(オリジナル)

Categorical data are present in key areas such as health or supply chain, and this data require specific treatment. In order to apply recent machine learning models on such data, encoding is needed. In order to build interpretable models, one-hot encoding is still a very good solution, but such encoding creates sparse data. Gradient estimators are not suited for sparse data: the gradient is mainly considered as zero while it simply does not always exists, thus a novel gradient estimator is introduced. We show what this estimator minimizes in theory and show its efficiency on different datasets with multiple model architectures. This new estimator performs better than common estimators under similar settings. A real world retail dataset is also released after anonymization. Overall, the aim of this paper is to thoroughly consider categorical data and adapt models and optimizers to these key features.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI