Federated Inference with Reliable Uncertainty Quantification over Wireless Channels via Conformal Prediction

要約

デバイスとサーバーが事前トレーニングされたモデルを共有する設定を考えてみましょう。
サーバーは、モデルが与えられた新しい入力に対して推論を行いたいと考えています。
デバイスは、これまでトレーニングに使用されていなかったデータにアクセスできるようになり、共通の無線チャネルを介してサーバーと通信できるようになります。
デバイスが新しい入力にアクセスできない場合、デバイスからサーバーへの通信により、サーバーでの推論決定の品質を向上させることができますか?
最近の取り組みでは、デバイスからサーバーへの通信を利用してサーバーの決定の信頼性を向上させるフェデレーテッド等角予測 (CP) が導入されました。
フェデレーテッド CP を使用すると、デバイスはローカル データ上の共有事前トレーニング モデルによって生じた損失に関する情報をサーバーに通信し、サーバーはこの情報を利用して決定間隔または決定間隔を調整し、正しいデータが含まれることが保証されます。
事前に定義された目標信頼性レベルで回答します。
以前の研究では、デバイスが単一の実数をサーバーに通信できるノイズのない通信を想定していました。
このペーパーでは、ワイヤレス設定におけるフェデレーテッド CP について初めて研究します。
我々は、タイプベースの多元接続 (TBMA) と新しい分位数補正戦略に基づいて構築された、ワイヤレス フェデレーテッド コンフォーマル予測 (WFCP) と呼ばれる新しいプロトコルを導入します。
WFCP は、サーバーによって生成された予測セットの範囲に関して正式な信頼性の保証を提供することが証明されています。
数値結果を使用して、特に通信リソースや多数のデバイスが制限されている体制において、既存のフェデレーテッド CP スキームのデジタル実装に対する WFCP の重要な利点を実証します。

要約(オリジナル)

Consider a setting in which devices and a server share a pre-trained model. The server wishes to make an inference on a new input given the model. Devices have access to data, previously not used for training, and can communicate to the server over a common wireless channel. If the devices have no access to the new input, can communication from devices to the server enhance the quality of the inference decision at the server? Recent work has introduced federated conformal prediction (CP), which leverages devices-to-server communication to improve the reliability of the server’s decision. With federated CP, devices communicate to the server information about the loss accrued by the shared pre-trained model on the local data, and the server leverages this information to calibrate a decision interval, or set, so that it is guaranteed to contain the correct answer with a pre-defined target reliability level. Previous work assumed noise-free communication, whereby devices can communicate a single real number to the server. In this paper, we study for the first time federated CP in a wireless setting. We introduce a novel protocol, termed wireless federated conformal prediction (WFCP), which builds on type-based multiple access (TBMA) and on a novel quantile correction strategy. WFCP is proved to provide formal reliability guarantees in terms of coverage of the predicted set produced by the server. Using numerical results, we demonstrate the significant advantages of WFCP against digital implementations of existing federated CP schemes, especially in regimes with limited communication resources and/or large number of devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google