Efficient Online Decision Tree Learning with Active Feature Acquisition

要約

タイトル：アクティブな特徴獲得を用いた効率的なオンライン決定木学習

要約：

– オンラインでの決定木の構築は、クラシックな機械学習の問題の一つである。
– 従来の手法では、各データポイントに対して特徴がすぐに利用可能であることを前提としていた。
– しかしながら、多くの現実世界の応用では、特徴値やラベルが事前には未知で、コストをかけて取得する必要がある。
– 医療診断の例では、医師は患者に対してどの検査を行うか（つまり、コストのかかる特徴クエリを行うか）を選択して、診断判断をする必要がある。
– 私たちは、この実践的な課題に取り組む新しい観点を提供する。
– 私たちのフレームワークには、オンライン学習スキームに組み込まれたアクティブなプランニングオラクルが含まれており、いくつかの情報獲得機能を調査している。
– 具体的には、適応性サブモジュラリティに基づくサロゲート情報獲得機能を使用して、最小のコストで特徴値をアクティブにクエリし、オンライン予測の低い後悔を維持するための事後サンプリングスキームを使用している。
– 様々な実世界のデータセットでの広範な実験により、私たちのフレームワークの効率性と効果を実証している。
– 私たちのフレームワークは、コンセプトドリフトのオンライン学習の厳しい設定に自然に適応し、柔軟性がありながらベースラインモデルと競合力があることが示されている。

要約(オリジナル)

Constructing decision trees online is a classical machine learning problem. Existing works often assume that features are readily available for each incoming data point. However, in many real world applications, both feature values and the labels are unknown a priori and can only be obtained at a cost. For example, in medical diagnosis, doctors have to choose which tests to perform (i.e., making costly feature queries) on a patient in order to make a diagnosis decision (i.e., predicting labels). We provide a fresh perspective to tackle this practical challenge. Our framework consists of an active planning oracle embedded in an online learning scheme for which we investigate several information acquisition functions. Specifically, we employ a surrogate information acquisition function based on adaptive submodularity to actively query feature values with a minimal cost, while using a posterior sampling scheme to maintain a low regret for online prediction. We demonstrate the efficiency and effectiveness of our framework via extensive experiments on various real-world datasets. Our framework also naturally adapts to the challenging setting of online learning with concept drift and is shown to be competitive with baseline models while being more flexible.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI