Self-Reinforcement Attention Mechanism For Tabular Learning

要約

機械学習モデルの高精度とは別に、現実の問題 (不正行為検出、信用スコアリングなど) において多くの研究者が興味を持っているのは、データ内の隠れたパターンを見つけることです。
特に、彼らの困難なアンバランスな特性に対処する場合。
解釈可能性も、使用される機械学習モデルに付随する必要がある重要な要件です。
この問題では、多くの場合、ブラックボックス モデルである複雑なモデルよりも、本質的に解釈可能なモデルが好まれます。
また、線形モデルは、パフォーマンスを犠牲にする必要がある場合でも、表形式のデータを処理するために一部の高リスク分野で使用されます。
この論文では、理解可能な表現を学習するために使用される重みベクトルとして特徴の関連性を提供する新しい注意メカニズムである自己強化注意 (SRA) を紹介します。
この重みは、要素ごとのベクトル乗算を通じて生の入力の一部のコンポーネントを強化または削減するために使用されます。
合成データと実世界の不均衡データに関する私たちの結果は、私たちが提案した SRA ブロックがベースライン モデルとのエンドツーエンドの組み合わせで効果的であることを示しています。

要約(オリジナル)

Apart from the high accuracy of machine learning models, what interests many researchers in real-life problems (e.g., fraud detection, credit scoring) is to find hidden patterns in data; particularly when dealing with their challenging imbalanced characteristics. Interpretability is also a key requirement that needs to accompany the used machine learning model. In this concern, often, intrinsically interpretable models are preferred to complex ones, which are in most cases black-box models. Also, linear models are used in some high-risk fields to handle tabular data, even if performance must be sacrificed. In this paper, we introduce Self-Reinforcement Attention (SRA), a novel attention mechanism that provides a relevance of features as a weight vector which is used to learn an intelligible representation. This weight is then used to reinforce or reduce some components of the raw input through element-wise vector multiplication. Our results on synthetic and real-world imbalanced data show that our proposed SRA block is effective in end-to-end combination with baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google