Iterative Assessment and Improvement of DNN Operational Accuracy

要約

ディープ ニューラル ネットワーク (DNN) は、特定のタスクで人間のような、または超人的なパフォーマンスを発揮するため、今日では多くのアプリケーション ドメインで広く採用されています。
ただし、予測不可能な/考慮されていない動作条件により、フィールドで予期しない障害が発生し、動作中の DNN のパフォーマンスがリリース前に推定されたものとは大きく異なります。
DNN システムのライフサイクルでは、通常、精度の評価は 2 つの方法で処理されます。操作入力のサンプリングによるオフラインと、疑似オラクルによるオンラインです。
前者は、サンプリングされた入力を手動でラベル付けする必要があるため、より高価であると考えられています。
後者は自動ですが、精度は低くなります。
MLOps のような機械学習システム向けの新たな反復型産業強度ライフサイクル モデルは、DNN 精度の忠実な推定値を提供するだけでなく、リモデリング/再トレーニング アクションを通じて精度を向上させるために、運用中に観察された入力を活用する可能性を提供すると考えています。
DAIC (DNN Assessment and Improvement Cycle) を提案します。これは、「低コスト」のオンライン疑似オラクルと「高コスト」のオフライン サンプリング手法を組み合わせて、反復における DNN の動作精度を推定および改善するアプローチです。
そのライフサイクルの。
暫定的な結果は、2 つのアプローチを組み合わせて DNN ライフサイクルに統合する利点を示しています。

要約(オリジナル)

Deep Neural Networks (DNN) are nowadays largely adopted in many application domains thanks to their human-like, or even superhuman, performance in specific tasks. However, due to unpredictable/unconsidered operating conditions, unexpected failures show up on field, making the performance of a DNN in operation very different from the one estimated prior to release. In the life cycle of DNN systems, the assessment of accuracy is typically addressed in two ways: offline, via sampling of operational inputs, or online, via pseudo-oracles. The former is considered more expensive due to the need for manual labeling of the sampled inputs. The latter is automatic but less accurate. We believe that emerging iterative industrial-strength life cycle models for Machine Learning systems, like MLOps, offer the possibility to leverage inputs observed in operation not only to provide faithful estimates of a DNN accuracy, but also to improve it through remodeling/retraining actions. We propose DAIC (DNN Assessment and Improvement Cycle), an approach which combines ”low-cost” online pseudo-oracles and ”high-cost” offline sampling techniques to estimate and improve the operational accuracy of a DNN in the iterations of its life cycle. Preliminary results show the benefits of combining the two approaches and integrating them in the DNN life cycle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google