Cross-Prediction-Powered Inference

要約

信頼性の高いデータ主導の意思決定は高品質のラベル付きデータにかかっていますが、高品質のラベルの取得には、多くの場合、手間のかかる人間による注釈や時間と費用がかかる科学的測定が必要になります。
高度な予測技術が大量の予測ラベルを迅速かつ安価に生成するために使用されているため、機械学習は魅力的な代替手段になりつつあります。
たとえば、予測されたタンパク質構造は実験的に導出された構造を補足するために使用され、衛星画像からの社会経済指標の予測は正確な調査データを補足するために使用されます。
予測は不完全で潜在的に偏っているため、この手法では下流の推論の妥当性が疑問視されます。
機械学習を活用した有効な推論方法である相互予測を紹介します。
ラベル付きの小さなデータセットとラベルのない大規模なデータセットを使用する場合、相互予測は機械学習を介して欠落しているラベルを代入し、予測の不正確さを修正するためにバイアス解除の形式を適用します。
結果として得られる推論は、望ましいエラー確率を達成し、ラベル付きデータのみを利用する推論よりも強力です。
密接に関連しているのは、予測を利用した推論の最近の提案です。これは、優れた事前トレーニング済みモデルがすでに利用可能であることを前提としています。
我々は、ラベル付けされたデータの一部を分割してモデルのトレーニングに使用する、予測を利用した推論の適応よりも、相互予測が一貫して強力であることを示します。
最後に、交差予測は競合予測よりも安定した結論をもたらすことがわかります。
通常、その信頼区間の変動は大幅に小さくなります。

要約(オリジナル)

While reliable data-driven decision-making hinges on high-quality labeled data, the acquisition of quality labels often involves laborious human annotations or slow and expensive scientific measurements. Machine learning is becoming an appealing alternative as sophisticated predictive techniques are being used to quickly and cheaply produce large amounts of predicted labels; e.g., predicted protein structures are used to supplement experimentally derived structures, predictions of socioeconomic indicators from satellite imagery are used to supplement accurate survey data, and so on. Since predictions are imperfect and potentially biased, this practice brings into question the validity of downstream inferences. We introduce cross-prediction: a method for valid inference powered by machine learning. With a small labeled dataset and a large unlabeled dataset, cross-prediction imputes the missing labels via machine learning and applies a form of debiasing to remedy the prediction inaccuracies. The resulting inferences achieve the desired error probability and are more powerful than those that only leverage the labeled data. Closely related is the recent proposal of prediction-powered inference, which assumes that a good pre-trained model is already available. We show that cross-prediction is consistently more powerful than an adaptation of prediction-powered inference in which a fraction of the labeled data is split off and used to train the model. Finally, we observe that cross-prediction gives more stable conclusions than its competitors; its confidence intervals typically have significantly lower variability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google