Background Invariance Testing According to Semantic Proximity

要約

多くのアプリケーションでは、機械学習 (ML) モデルは、回転、サイズ、強度、バックグラウンドの不変性などの不変性の性質を保持する必要があります。
多くのタイプの分散とは異なり、背景シーンのバリアントは簡単に順序付けできないため、関係するモデルのロバスト性とバイアスを分析することが困難になります。
この作業では、テスト対象の前景オブジェクトを含むターゲット画像への意味上の近接性に従って背景シーンを順序付けするための技術的ソリューションを提示します。
オブジェクト認識の結果を各画像の意味記述として利用し、関連分析を使用して異なるオブジェクト間の関係に関する知識を格納するためのオントロジーを構築します。
このオントロジーにより、(i) ターゲット画像までの意味距離が異なる背景シーンの効率的かつ意味のある検索、(ii) サンプリングされた背景シーンの分布とまばらさの定量的制御、および (iii) 不変性テストの視覚的表現を使用した品質保証が可能になります。
結果 (分散行列と呼ばれます)。
このホワイト ペーパーでは、ML モデルの不変性品質を自動的に評価するための ML4ML アセッサーのトレーニングについても報告します。

要約(オリジナル)

In many applications, machine learned (ML) models are required to hold some invariance qualities, such as rotation, size, intensity, and background invariance. Unlike many types of variance, the variants of background scenes cannot be ordered easily, which makes it difficult to analyze the robustness and biases of the models concerned. In this work, we present a technical solution for ordering background scenes according to their semantic proximity to a target image that contains a foreground object being tested. We make use of the results of object recognition as the semantic description of each image, and construct an ontology for storing knowledge about relationships among different objects using association analysis. This ontology enables (i) efficient and meaningful search for background scenes of different semantic distances to a target image, (ii) quantitative control of the distribution and sparsity of the sampled background scenes, and (iii) quality assurance using visual representations of invariance testing results (referred to as variance matrices). In this paper, we also report the training of an ML4ML assessor to evaluate the invariance quality of ML models automatically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google