A Differentiable Rank-Based Objective For Better Feature Learning

要約

この論文では、既存の統計的手法を活用して、データからの機能学習をよりよく理解します。
\ cite {azadkia2021simple}で導入されている条件付き独立（foci）による機能の順序付け、モデルフリーの変数選択方法を変更することでこれに取り組みます。
焦点は条件付き依存性のノンパラメトリック係数に基づいていますが、そのパラメトリックで微分可能な近似を導入します。
この近似相関係数を使用すると、Diffociと呼ばれる新しいアルゴリズムを提示します。これは、その微分可能性と学習可能なパラメーターのおかげで、より広範な機械学習の問題に適用できます。
3つのコンテキストでdiffociを提示します。（1）焦点とのベースライン比較を伴う可変選択方法として、（2）ニューラルネットワークでパラメータ化されたトレーニング可能なモデルとして、（3）一般的で広く適用可能なニューラルネットワークの正規者として、
偽の相関をより良く管理することで、機能学習を改善します。
おもちゃの例の基本的な変数の選択から、畳み込みネットワークの顕著性マップ比較に至るまで、ますます複雑な問題についてDiffociを評価します。
次に、敏感なデータに依存することなく分類を促進するために、公平性のコンテキストにDiffociを組み込む方法を示します。

要約(オリジナル)

In this paper, we leverage existing statistical methods to better understand feature learning from data. We tackle this by modifying the model-free variable selection method, Feature Ordering by Conditional Independence (FOCI), which is introduced in \cite{azadkia2021simple}. While FOCI is based on a non-parametric coefficient of conditional dependence, we introduce its parametric, differentiable approximation. With this approximate coefficient of correlation, we present a new algorithm called difFOCI, which is applicable to a wider range of machine learning problems thanks to its differentiable nature and learnable parameters. We present difFOCI in three contexts: (1) as a variable selection method with baseline comparisons to FOCI, (2) as a trainable model parametrized with a neural network, and (3) as a generic, widely applicable neural network regularizer, one that improves feature learning with better management of spurious correlations. We evaluate difFOCI on increasingly complex problems ranging from basic variable selection in toy examples to saliency map comparisons in convolutional networks. We then show how difFOCI can be incorporated in the context of fairness to facilitate classifications without relying on sensitive data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google