coverforest: Conformal Predictions with Random Forest in Python

要約

等角予測は、特に分布のない保証範囲を備えた予測区間およびセットの形式で、不確実性を定量化するためのフレームワークを提供します。
CV+ や Jackknife+-after-bootstrap などの最近のクロスコンフォーマル手法は、従来のスプリットコンフォーマル手法よりも優れたデータ効率を実現していますが、トレーニングサンプルとテストサンプルのアウトオブバッグスコア間のペアごとの比較が必要なため、かなりの計算コストが発生します。
これらの手法がアンサンブル モデル、特にランダム フォレストから自然に拡張されることを観察し、既存の最適化されたランダム フォレストの実装を活用して、効率的なクロスコンフォーマル予測を可能にします。
ランダム フォレスト向けに特に最適化された効率的な等角予測手法を実装する Python パッケージ、coverforest を紹介します。
coverforest は、分割等角、CV+、ジャックナイフ + アフターブートストラップ、適応型予測セットなど、さまざまな等角予測方法を通じて回帰タスクと分類タスクの両方をサポートします。
私たちのパッケージは並列コンピューティングと Cython 最適化を利用して、バッグ外の計算を高速化します。
私たちの実験は、coverforest の予測が望ましいレベルのカバレッジを達成していることを示しています。
さらに、トレーニングと予測の時間は、既存の実装より 2 ～ 9 倍高速化できます。
Coverforest のソース コードは、GitHub (https://github.com/donlapark/coverforest) でホストされています。

要約(オリジナル)

Conformal prediction provides a framework for uncertainty quantification, specifically in the forms of prediction intervals and sets with distribution-free guaranteed coverage. While recent cross-conformal techniques such as CV+ and Jackknife+-after-bootstrap achieve better data efficiency than traditional split conformal methods, they incur substantial computational costs due to required pairwise comparisons between training and test samples’ out-of-bag scores. Observing that these methods naturally extend from ensemble models, particularly random forests, we leverage existing optimized random forest implementations to enable efficient cross-conformal predictions. We present coverforest, a Python package that implements efficient conformal prediction methods specifically optimized for random forests. coverforest supports both regression and classification tasks through various conformal prediction methods, including split conformal, CV+, Jackknife+-after-bootstrap, and adaptive prediction sets. Our package leverages parallel computing and Cython optimizations to speed up out-of-bag calculations. Our experiments demonstrate that coverforest’s predictions achieve the desired level of coverage. In addition, its training and prediction times can be faster than an existing implementation by 2–9 times. The source code for the coverforest is hosted on GitHub at https://github.com/donlapark/coverforest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google