Very fast Bayesian Additive Regression Trees on GPU

要約

ベイジアン加法回帰ツリー (BART) は、デシジョン ツリーのアンサンブルに基づくノンパラメトリック ベイジアン回帰手法です。
これは多くの統計学者のツールボックスの一部です。
通常、回帰の全体的な統計的品質は他の一般的な代替方法よりも高く、手動調整の必要性が少ないため、デフォルトの選択肢として適しています。
ただし、実行時間が長く、サンプル サイズが 10,000 ～ 100,000 を超えると厄介になるため、本来の競合である XGBoost と比較するとニッチな方法です。
私は、単一の CPU コアと比較して最大 200 倍高速な BART の GPU 対応実装を紹介します。これにより、XGBoost を使用して BART の実行時間の競争力が高まります。
この実装は、Python パッケージ bartz で利用できます。

要約(オリジナル)

Bayesian Additive Regression Trees (BART) is a nonparametric Bayesian regression technique based on an ensemble of decision trees. It is part of the toolbox of many statisticians. The overall statistical quality of the regression is typically higher than other generic alternatives, and it requires less manual tuning, making it a good default choice. However, it is a niche method compared to its natural competitor XGBoost, due to the longer running time, making sample sizes above 10,000-100,000 a nuisance. I present a GPU-enabled implementation of BART, faster by up to 200x relative to a single CPU core, making BART competitive in running time with XGBoost. This implementation is available in the Python package bartz.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google