要約
機械学習モデルにおける個々の予測の信頼性を評価できることは、意思決定シナリオにとって非常に重要です。
特に、いくつか例を挙げると、医療診断、セキュリティ、無人車両などの重要なアプリケーションで使用されます。
ここ数年、複雑な予測モデルは困難なタスクの解決に大きな成功を収めており、新しい手法が日々提案されています。
機械学習モデルの新規開発の大部分は全体的なパフォーマンスの向上に焦点を当てていますが、個々の予測の信頼性の評価にはそれほど労力がかかっておらず、センサー フュージョンのコンテキストでは、さらに程度が低い場合もあります。
この目的を達成するために、私たちは異種センサー融合のためのマルチビューおよびシングルビューの等角モデルを構築してテストします。
私たちのモデルは等角予測フレームワークに基づいているため、理論上の限界信頼度保証を提供します。
また、集合交差に基づいた多視点半等角モデルも提案します。
包括的な実験を通じて、精度ベースのパフォーマンス指標 (これまでのいくつかの研究ですでに示されているように) だけでなく、不確実性の推定を提供する等角尺度の点でも、マルチビュー モデルがシングルビュー モデルよりも優れたパフォーマンスを発揮することを示します。
私たちの結果は、マルチビュー モデルがシングルビュー モデルと比較して不確実性の低い予測セットを生成することも示しました。
要約(オリジナル)
Being able to assess the confidence of individual predictions in machine learning models is crucial for decision making scenarios. Specially, in critical applications such as medical diagnosis, security, and unmanned vehicles, to name a few. In the last years, complex predictive models have had great success in solving hard tasks and new methods are being proposed every day. While the majority of new developments in machine learning models focus on improving the overall performance, less effort is put on assessing the trustworthiness of individual predictions, and even to a lesser extent, in the context of sensor fusion. To this end, we build and test multi-view and single-view conformal models for heterogeneous sensor fusion. Our models provide theoretical marginal confidence guarantees since they are based on the conformal prediction framework. We also propose a multi-view semi-conformal model based on sets intersection. Through comprehensive experimentation, we show that multi-view models perform better than single-view models not only in terms of accuracy-based performance metrics (as it has already been shown in several previous works) but also in conformal measures that provide uncertainty estimation. Our results also showed that multi-view models generate prediction sets with less uncertainty compared to single-view models.
arxiv情報
著者 | Enrique Garcia-Ceja |
発行日 | 2024-02-19 17:30:09+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google