Distributed Conformal Prediction via Message Passing

要約

特にヘルスケアなどの安全性が批判的なドメインでは、事前に訓練されたモデルの事前に訓練されたモデルのポストキャリブレーションが重要です。
コンフォーマル予測（CP）は、堅牢な事後キャリブレーションフレームワークを提供し、保有データセットを活用することにより、予測セットの分布のない統計カバレッジ保証を提供します。
この作業では、各デバイスのキャリブレーションデータが制限され、任意のグラフトポロジを介してその近隣とのみ通信できる分散型設定に対処します。
CPを介して信頼できる推論を達成するための2つのメッセージ通過ベースのアプローチを提案します：分位ベースの分散コンフォーマル予測（Q-DCP）とヒストグラムベースの分散コンフォーマル予測（H-DCP）。
Q-DCPは、分布した分位回帰を使用して、調整されたスムージングと正規化項で強化され、収束を加速しますが、H-DCPはコンセンサスベースのヒストグラム推定アプローチを使用します。
広範な実験を通じて、さまざまなネットワークトポロジのハイパーパラメーターチューニング要件、通信オーバーヘッド、カバレッジ保証、予測セットサイズのトレードオフを調査します。

要約(オリジナル)

Post-hoc calibration of pre-trained models is critical for ensuring reliable inference, especially in safety-critical domains such as healthcare. Conformal Prediction (CP) offers a robust post-hoc calibration framework, providing distribution-free statistical coverage guarantees for prediction sets by leveraging held-out datasets. In this work, we address a decentralized setting where each device has limited calibration data and can communicate only with its neighbors over an arbitrary graph topology. We propose two message-passing-based approaches for achieving reliable inference via CP: quantile-based distributed conformal prediction (Q-DCP) and histogram-based distributed conformal prediction (H-DCP). Q-DCP employs distributed quantile regression enhanced with tailored smoothing and regularization terms to accelerate convergence, while H-DCP uses a consensus-based histogram estimation approach. Through extensive experiments, we investigate the trade-offs between hyperparameter tuning requirements, communication overhead, coverage guarantees, and prediction set sizes across different network topologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google