ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep Learning Problems

要約

最近、マルチクラスのラベル付け問題に対する不確実性を考慮した深層学習手法が開発され、調整されたクラス予測確率と分布外 (OOD) 指標を提供し、機械学習 (ML) の利用者やエンジニアが予測におけるモデルの信頼性を測定できるようになりました。
ただし、この追加のニューラル ネットワーク予測情報は、複数の不確実性コンテキストの下で任意のデータ ソースに対してスケーラブルに視覚的に伝達することが困難です。
これらの課題に対処するために、ScatterUQ を紹介します。ScatterUQ は、ユーザーがコンテキスト駆動の不確実性設定におけるモデルのパフォーマンスをよりよく理解できるように、ターゲットを絞った視覚化を提供する対話型システムです。
ScatterUQ は、距離認識ニューラル ネットワークの最近の進歩と次元削減技術を活用して、モデルがテスト サンプルが (1) 分布内および特定のクラスであると予測する理由を説明する堅牢な 2 次元散布図を構築します。
) 配布中だがクラスが不明、(3) 配布外。
ML の消費者とエンジニアは、「ホバー コールバック」を使用してテスト サンプルの顕著な特徴をトレーニング サンプルと視覚的に比較し、モデルの不確実性のパフォーマンスを理解し、フォローアップの行動方針を決定できます。
Fashion-MNIST でトレーニングされ、Fashion-MNIST (分布内) および MNIST ディジット (分布外) でテストされた距離認識ニューラル ネットワーク上のマルチクラス画像分類のモデルの不確実性を説明するための ScatterUQ の有効性を実証します。
サイバー データセットの深層学習モデル。
次元削減技術を定量的に評価して、コンテキスト駆動型の UQ 視覚化を最適化します。
私たちの結果は、ScatterUQ システムが任意のマルチクラス データセットに拡張する必要があることを示しています。
私たちのコードは https://github.com/mit-ll-responsible-ai/equine-webapp で入手できます。

要約(オリジナル)

Recently, uncertainty-aware deep learning methods for multiclass labeling problems have been developed that provide calibrated class prediction probabilities and out-of-distribution (OOD) indicators, letting machine learning (ML) consumers and engineers gauge a model’s confidence in its predictions. However, this extra neural network prediction information is challenging to scalably convey visually for arbitrary data sources under multiple uncertainty contexts. To address these challenges, we present ScatterUQ, an interactive system that provides targeted visualizations to allow users to better understand model performance in context-driven uncertainty settings. ScatterUQ leverages recent advances in distance-aware neural networks, together with dimensionality reduction techniques, to construct robust, 2-D scatter plots explaining why a model predicts a test example to be (1) in-distribution and of a particular class, (2) in-distribution but unsure of the class, and (3) out-of-distribution. ML consumers and engineers can visually compare the salient features of test samples with training examples through the use of a “hover callback” to understand model uncertainty performance and decide follow up courses of action. We demonstrate the effectiveness of ScatterUQ to explain model uncertainty for a multiclass image classification on a distance-aware neural network trained on Fashion-MNIST and tested on Fashion-MNIST (in distribution) and MNIST digits (out of distribution), as well as a deep learning model for a cyber dataset. We quantitatively evaluate dimensionality reduction techniques to optimize our contextually driven UQ visualizations. Our results indicate that the ScatterUQ system should scale to arbitrary, multiclass datasets. Our code is available at https://github.com/mit-ll-responsible-ai/equine-webapp

arxiv情報

提供元, 利用サービス

arxiv.jp, Google