Distilling Calibration via Conformalized Credal Inference

要約

人工知能 (AI) モデルをエッジ デバイスに展開するには、限られたメモリやエネルギー リソースなどの厳しい複雑さの制約を満たすことと、機密性の高い意思決定タスクで信頼性の高いパフォーマンスを確保することとの間の微妙なバランスが必要です。
信頼性を高める 1 つの方法は、ベイズ推論による不確実性の定量化です。
ただし、このアプローチでは通常、アンサンブル内で複数のモデルを維持および実行する必要があり、エッジ デバイスの計算制限を超える可能性があります。
このペーパーでは、より複雑なモデルからキャリブレーション情報を抽出することで、この課題に対処するための複雑度の低い方法論を紹介します。
オフライン フェーズでは、複雑性の高いクラウドベースのモデルによって生成された予測確率を利用して、クラウド モデルとエッジ モデル間の一般的な相違に基づいてしきい値を決定します。
実行時に、このしきい値はクレダル セット (ユーザーが選択した信頼レベルで、クラウド モデルの予測を含むことが保証される予測確率の範囲) を構築するために使用されます。
クレダルセットは、予測確率の単体における発散尺度の閾値処理を通じて取得されます。
視覚タスクと言語タスクの実験では、提案されたアプローチ (CD-CI) と呼ばれるアプローチが、ラプラス近似などの複雑さの低いベイジアン手法と比較してキャリブレーション パフォーマンスを大幅に向上させ、エッジ向けの実用的で効率的なソリューションとなることが実証されました。
AI の導入。

要約(オリジナル)

Deploying artificial intelligence (AI) models on edge devices involves a delicate balance between meeting stringent complexity constraints, such as limited memory and energy resources, and ensuring reliable performance in sensitive decision-making tasks. One way to enhance reliability is through uncertainty quantification via Bayesian inference. This approach, however, typically necessitates maintaining and running multiple models in an ensemble, which may exceed the computational limits of edge devices. This paper introduces a low-complexity methodology to address this challenge by distilling calibration information from a more complex model. In an offline phase, predictive probabilities generated by a high-complexity cloud-based model are leveraged to determine a threshold based on the typical divergence between the cloud and edge models. At run time, this threshold is used to construct credal sets — ranges of predictive probabilities that are guaranteed, with a user-selected confidence level, to include the predictions of the cloud model. The credal sets are obtained through thresholding of a divergence measure in the simplex of predictive probabilities. Experiments on visual and language tasks demonstrate that the proposed approach, termed Conformalized Distillation for Credal Inference (CD-CI), significantly improves calibration performance compared to low-complexity Bayesian methods, such as Laplace approximation, making it a practical and efficient solution for edge AI deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google