Comparing hundreds of machine learning classifiers and discrete choice models in predicting travel behavior: an empirical benchmark

要約

多くの研究で、旅行需要の予測において機械学習 (ML) と離散選択モデル (DCM) が比較されています。
ただし、これらの研究は状況の変化を考慮せずに決定論的にモデルを比較するため、一般化性に欠けることがよくあります。
この制限に対処するために、私たちの研究では、トーナメント モデルを設計することで経験的ベンチマークを開発し、多数の実験を効率的に要約し、モデル比較のランダム性を定量化し、正式な統計テストを使用してモデルとコンテキスト効果を区別します。
このベンチマーク調査では、2 つの大規模なデータ ソースを比較します。1 つは 35 の研究からの 136 の実験を要約した文献レビューから編集されたデータベース、もう 1 つは 105 のモデルと 12 のモデル ファミリからの合計 6,970 の実験を含む当社独自の実験データです。
このベンチマーク調査では 2 つの重要な結果が得られました。
まず、多くの ML モデル、特にアンサンブル手法と深層学習は、DCM ファミリ (つまり、多項、入れ子、および混合ロジット モデル) よりも統計的に優れています。
ただし、この研究では、モデルの種類の違いだけよりもモデルの予測パフォーマンスをより効果的に説明できる、コンテキスト要因 (つまり、データ ソース、入力、選択カテゴリー) の重要な役割も強調しています。
モデルのパフォーマンスはデータ ソースによって大きく異なり、サンプル サイズが大きくなり、代替セットの次元が低くなるにつれて向上します。
すべてのモデルと状況要因を制御した後でも、重大なランダム性が依然として残り、このようなモデル比較における固有の不確実性が暗示されます。
全体として、将来の研究者は、コンテキスト固有のモデルの比較から、コンテキスト間のモデルの移行可能性の調査と ML に固有の不確実性の特徴付けに重点を移し、より堅牢で一般化可能な次世代の旅行需要モデルを作成することを提案します。

要約(オリジナル)

Numerous studies have compared machine learning (ML) and discrete choice models (DCMs) in predicting travel demand. However, these studies often lack generalizability as they compare models deterministically without considering contextual variations. To address this limitation, our study develops an empirical benchmark by designing a tournament model, thus efficiently summarizing a large number of experiments, quantifying the randomness in model comparisons, and using formal statistical tests to differentiate between the model and contextual effects. This benchmark study compares two large-scale data sources: a database compiled from literature review summarizing 136 experiments from 35 studies, and our own experiment data, encompassing a total of 6,970 experiments from 105 models and 12 model families. This benchmark study yields two key findings. Firstly, many ML models, particularly the ensemble methods and deep learning, statistically outperform the DCM family (i.e., multinomial, nested, and mixed logit models). However, this study also highlights the crucial role of the contextual factors (i.e., data sources, inputs and choice categories), which can explain models’ predictive performance more effectively than the differences in model types alone. Model performance varies significantly with data sources, improving with larger sample sizes and lower dimensional alternative sets. After controlling all the model and contextual factors, significant randomness still remains, implying inherent uncertainty in such model comparisons. Overall, we suggest that future researchers shift more focus from context-specific model comparisons towards examining model transferability across contexts and characterizing the inherent uncertainty in ML, thus creating more robust and generalizable next-generation travel demand models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google