Neural Attention Forests: Transformer-Based Forest Improvement

要約

タイトル：ニューラルアテンションフォレスト：トランスフォーマーベースのフォレスト改善
要約：
– NAF（ニューラルアテンションフォレスト）は、タブラー訓練データ下での回帰分析と分類分析を解決するための新しいアプローチです。
– 提案されたNAFモデルの主なアイデアは、アテンション機構をランダムフォレストに導入することです。具体的には、ニューラルネットワークによって計算されたアテンション重みを決定木の葉のデータとランダムフォレスト自体に割り当て、ナダラヤ・ワトソンカーネル回帰のフレームワークで表現することです。
– このモデルは、アテンションベースのランダムフォレストなどの既存のモデルと異なり、アテンション重みとナダラヤ・ワトソン回帰が、訓練可能パラメーターとして扱えるニューラルネットワークの形で表現されている点が特徴です。
– ツリー内のデータのアテンション重みを計算する共有重みの最初の部分は、すべての木に対して訓練され、二つ目の部分はツリーネットワークの出力を集計し、ランダムフォレスト予測とトレーニングセットの真の目標値との差を最小化するようになっています。ニューラルネットワークは、エンドツーエンドの方法でトレーニングされます。
– ランダムフォレストとアテンションメカニズムを実装したニューラルネットワークの組み合わせは、フォレスト予測を強化するトランスフォーマーを形成します。
– 実データセットでの数値実験により、提案手法が有効であることが示されており、このアプローチを実装したコードは公開されています。

要約(オリジナル)

A new approach called NAF (the Neural Attention Forest) for solving regression and classification tasks under tabular training data is proposed. The main idea behind the proposed NAF model is to introduce the attention mechanism into the random forest by assigning attention weights calculated by neural networks of a specific form to data in leaves of decision trees and to the random forest itself in the framework of the Nadaraya-Watson kernel regression. In contrast to the available models like the attention-based random forest, the attention weights and the Nadaraya-Watson regression are represented in the form of neural networks whose weights can be regarded as trainable parameters. The first part of neural networks with shared weights is trained for all trees and computes attention weights of data in leaves. The second part aggregates outputs of the tree networks and aims to minimize the difference between the random forest prediction and the truth target value from a training set. The neural network is trained in an end-to-end manner. The combination of the random forest and neural networks implementing the attention mechanism forms a transformer for enhancing the forest predictions. Numerical experiments with real datasets illustrate the proposed method. The code implementing the approach is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI