Conformal Prediction for Multimodal Regression

要約

この論文では、マルチモーダル等角回帰を紹介します。
従来、数値入力特徴のみを使用するシナリオに限定されていたコンフォーマル予測は、画像と非構造化テキストを処理する複雑なニューラル ネットワーク アーキテクチャの内部特徴を活用する私たちの方法論を通じて、マルチモーダルなコンテキストに拡張されました。
私たちの調査結果は、マルチモーダル情報が結合される収束点から抽出された内部ニューラル ネットワークの特徴が、予測区間 (PI) を構築するために等角予測によって使用される可能性を強調しています。
この機能により、マルチモーダル データが豊富な領域で等角予測を展開​​するための新しい道が開かれ、より広範囲の問題が保証された分布のない不確実性の定量化から恩恵を受けることが可能になります。

要約(オリジナル)

This paper introduces multimodal conformal regression. Traditionally confined to scenarios with solely numerical input features, conformal prediction is now extended to multimodal contexts through our methodology, which harnesses internal features from complex neural network architectures processing images and unstructured text. Our findings highlight the potential for internal neural network features, extracted from convergence points where multimodal information is combined, to be used by conformal prediction to construct prediction intervals (PIs). This capability paves new paths for deploying conformal prediction in domains abundant with multimodal data, enabling a broader range of problems to benefit from guaranteed distribution-free uncertainty quantification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google