Sequential Attention for Feature Selection

要約

タイトル：Feature SelectionのためのSequential Attention

要約：

– 特徴量選択は、モデルのクオリティを最大化する予算制約下で機械学習モデルの特徴量のサブセットを選択する問題である。
– ニューラルネットワークの場合、従来の方法では、$\ell_1$正則化、attention、その他の技術を含め、通常1つの評価ラウンドで特徴量のサブセット全体を選択しており、選択中に残留する特徴量の残留価値、つまり他の特徴量が既に選択された場合の特徴量の余剰寄与を無視している。
– 我々は Sequential Attention という特徴量選択アルゴリズムを提案しており、これは、効率的な1回パスの貪欲な前向き選択の実装に基づき、各ステップでのattention重みを特徴量の重要性の代替として使用する。
– 我々は、線形回帰に対する理論的な洞察を与え、この設定に対する適応が古典的なOrthogonal Matching Pursuit（OMP）アルゴリズムと等価であり、したがってその証明可能なすべての保証を継承することを示している。
– 我々の理論的および実証的分析は、attentionの有効性と過剰適合性への接続に関する新しい説明を提供し、これは独立した興味の対象となる可能性がある。

要約(オリジナル)

Feature selection is the problem of selecting a subset of features for a machine learning model that maximizes model quality subject to a budget constraint. For neural networks, prior methods, including those based on $\ell_1$ regularization, attention, and other techniques, typically select the entire feature subset in one evaluation round, ignoring the residual value of features during selection, i.e., the marginal contribution of a feature given that other features have already been selected. We propose a feature selection algorithm called Sequential Attention that achieves state-of-the-art empirical results for neural networks. This algorithm is based on an efficient one-pass implementation of greedy forward selection and uses attention weights at each step as a proxy for feature importance. We give theoretical insights into our algorithm for linear regression by showing that an adaptation to this setting is equivalent to the classical Orthogonal Matching Pursuit (OMP) algorithm, and thus inherits all of its provable guarantees. Our theoretical and empirical analyses offer new explanations towards the effectiveness of attention and its connections to overparameterization, which may be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI