Evaluation of Active Feature Acquisition Methods for Time-varying Feature Settings

要約

機械学習手法では、多くの場合、入力特徴が無料で利用できると想定されています。
ただし、ヘルスケアのような分野では、特徴の取得に費用がかかったり有害になる可能性があるため、特徴の取得コストとその予測値のバランスを取る必要があります。
どの特徴を取得するかを決定するために AI エージェントをトレーニングするタスクは、アクティブ特徴取得 (AFA) と呼ばれます。
AFA エージェントを配置することで、獲得戦略を効果的に変更し、流通シフトを引き起こします。
この分散シフトの下で AFA エージェントを安全に展開するために、アクティブな機能取得パフォーマンス評価 (AFAPE) の問題を提示します。
我々は、i) 直接影響なし (NDE) 仮定に基づいて AFAPE を検証します。これは、取得が基礎となる特徴値に影響を与えないと述べています。
ii) 遡及的な特徴取得の決定は観察された特徴のみに基づいていることを示す、未観察交絡なし (NUC) の仮定。
NUC 仮定の下ではオフライン強化学習を、NDE 仮定の下では欠損データ手法を適用できることを示します。
NUC と NDE が成立する場合、我々は新しい半オフライン強化学習フレームワークを提案します。これは、より弱い肯定的仮定を必要とし、よりデータ効率の高い推定量を生成します。
直接法 (DM)、逆確率重み付け (IPW)、二重強化学習 (DRL) 推定器という 3 つの新しい推定器を導入します。

要約(オリジナル)

Machine learning methods often assume input features are available at no cost. However, in domains like healthcare, where acquiring features could be expensive or harmful, it is necessary to balance a feature’s acquisition cost against its predictive value. The task of training an AI agent to decide which features to acquire is called active feature acquisition (AFA). By deploying an AFA agent, we effectively alter the acquisition strategy and trigger a distribution shift. To safely deploy AFA agents under this distribution shift, we present the problem of active feature acquisition performance evaluation (AFAPE). We examine AFAPE under i) a no direct effect (NDE) assumption, stating that acquisitions don’t affect the underlying feature values; and ii) a no unobserved confounding (NUC) assumption, stating that retrospective feature acquisition decisions were only based on observed features. We show that one can apply offline reinforcement learning under the NUC assumption and missing data methods under the NDE assumption. When NUC and NDE hold, we propose a novel semi-offline reinforcement learning framework, which requires a weaker positivity assumption and yields more data-efficient estimators. We introduce three novel estimators: a direct method (DM), an inverse probability weighting (IPW), and a double reinforcement learning (DRL) estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google