Data Models for Dataset Drift Controls in Machine Learning With Images

要約

機械学習の研究において、カメラ画像はユビキタスな存在である。また、医療や環境調査などの重要なサービスの提供においても中心的な役割を担っている。しかし、これらの領域における機械学習モデルの適用には、ロバスト性の懸念があるため、制限があります。主な故障モードは、学習データと導入データの違いによる性能低下である。このようなデータセットドリフトに対する機械学習モデルのロバスト性を前向きに検証する方法はありますが、既存のアプローチでは、主要な対象であるデータの明示的なモデルが考慮されていません。このため、物理的に忠実なドリフトテストケースを作成したり、機械学習モデルを展開する際に避けるべきデータモデルの仕様を提供したりすることが困難です。本研究では、機械学習のロバスト性検証と物理光学を組み合わせることで、これらの欠点をどのように克服できるかを実証します。我々は、画像データセットのドリフトに関連するパフォーマンスリスクを制御するために、生のセンサーデータと微分可能なデータモデルが果たす役割を検証する。得られた知見は、3つのアプリケーションに集約される。まず、ドリフト合成により、物理的に忠実なドリフトテストケースを制御して生成することができます。ここで紹介する実験では、モデル性能の平均的な低下は、ポストホックオーギュメンテーションテストに比べて10倍から4倍程度に抑えられることが示されています。第二に、タスクとデータモデルの勾配接続により、ドリフトフォレンジックが可能となり、機械学習モデルの展開時に避けるべきパフォーマンスセンシティブなデータモデルを指定するために使用することができる。第三に、ドリフト調整により、ドリフトに直面した場合の処理調整の可能性が広がります。これにより、検証精度に最大20%のマージンを持たせて、分類器学習の高速化と安定化を図ることができます。オープンコードとデータセットにアクセスするためのガイドは、https://github.com/aiaudit-org/raw2logit で入手できます。

要約(オリジナル)

Camera images are ubiquitous in machine learning research. They also play a central role in the delivery of important services spanning medicine and environmental surveying. However, the application of machine learning models in these domains has been limited because of robustness concerns. A primary failure mode are performance drops due to differences between the training and deployment data. While there are methods to prospectively validate the robustness of machine learning models to such dataset drifts, existing approaches do not account for explicit models of the primary object of interest: the data. This makes it difficult to create physically faithful drift test cases or to provide specifications of data models that should be avoided when deploying a machine learning model. In this study, we demonstrate how these shortcomings can be overcome by pairing machine learning robustness validation with physical optics. We examine the role raw sensor data and differentiable data models can play in controlling performance risks related to image dataset drift. The findings are distilled into three applications. First, drift synthesis enables the controlled generation of physically faithful drift test cases. The experiments presented here show that the average decrease in model performance is ten to four times less severe than under post-hoc augmentation testing. Second, the gradient connection between task and data models allows for drift forensics that can be used to specify performance-sensitive data models which should be avoided during deployment of a machine learning model. Third, drift adjustment opens up the possibility for processing adjustments in the face of drift. This can lead to speed up and stabilization of classifier training at a margin of up to 20% in validation accuracy. A guide to access the open code and datasets is available at https://github.com/aiaudit-org/raw2logit.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL