Robustness of Algorithms for Causal Structure Learning to Hyperparameter Choice

要約

ハイパーパラメータは機械学習において重要な役割を果たします。
ハイパーパラメータ調整は、どのアルゴリズムでも最先端の予測パフォーマンスと劣悪な予測パフォーマンスに違いをもたらす可能性がありますが、教師なしの性質のため、構造学習の場合は特に困難です。
その結果、アルゴリズムの特定の実装によって提供されるデフォルト値を使用することを優先し、ハイパーパラメーターの調整が無視されることがよくあります。
因果関係発見アルゴリズムのパフォーマンス評価に関する研究は数多くありますが、ハイパーパラメータが個々のアルゴリズムにどのような影響を与えるか、また特定の問題に対する最適なアルゴリズムの選択については、これまで詳しく研究されていませんでした。
この研究では、因果構造学習タスクに対するハイパーパラメータの影響を調査することで、このギャップに対処しています。
具体的には、さまざまなレベルの複雑さのデータセットに対して、いくつかの独創的な学習アルゴリズムのハイパーパラメータ選択の経験的評価を実行します。
最先端のパフォーマンスを得るにはアルゴリズムの選択が依然として重要である一方で、アンサンブル設定でのハイパーパラメータの選択がアルゴリズムの選択に大きな影響を与えることがわかりました。ハイパーパラメータの選択が適切でない場合、アナリストが適切でないアルゴリズムを使用する可能性があります。
データに対して最先端のパフォーマンスを提供します。

要約(オリジナル)

Hyperparameters play a critical role in machine learning. Hyperparameter tuning can make the difference between state-of-the-art and poor prediction performance for any algorithm, but it is particularly challenging for structure learning due to its unsupervised nature. As a result, hyperparameter tuning is often neglected in favour of using the default values provided by a particular implementation of an algorithm. While there have been numerous studies on performance evaluation of causal discovery algorithms, how hyperparameters affect individual algorithms, as well as the choice of the best algorithm for a specific problem, has not been studied in depth before. This work addresses this gap by investigating the influence of hyperparameters on causal structure learning tasks. Specifically, we perform an empirical evaluation of hyperparameter selection for some seminal learning algorithms on datasets of varying levels of complexity. We find that, while the choice of algorithm remains crucial to obtaining state-of-the-art performance, hyperparameter selection in ensemble settings strongly influences the choice of algorithm, in that a poor choice of hyperparameters can lead to analysts using algorithms which do not give state-of-the-art performance for their data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google