Operationalizing Assurance Cases for Data Scientists: A Showcase of Concepts and Tooling in the Context of Test Data Quality for Machine Learning

要約

保証ケース (AC) は、構造化された方法で品質に関する主張を議論するための安全工学における確立されたアプローチです。
機械学習 (ML) ベースのソフトウェア コンポーネントの品質保証の文脈では、AC も議論されており、有望視されています。
AC を運用するためのツールは存在しますが、主にシステム レベルで安全エンジニアをサポートすることに重点を置いています。
ただし、システム内の ML コンポーネントの品質の保証は通常、これらのツールにあまり詳しくないデータ サイエンティストの責任です。
このギャップに対処するために、データ サイエンティストが日常的に使用するテクノロジ (Python と Jupyter Notebook) に基づいて、ML コンポーネントの AC の運用化をサポートするフレームワークを提案します。
私たちの目的は、AC で ML 関連の証拠を作成するプロセスをより効果的にすることです。
フレームワークの適用結果はノートブックを通じて文書化され、既存の AC ツールに統合できます。
テストデータの品質に関する抜粋例でフレームワークの適用を説明します。

要約(オリジナル)

Assurance Cases (ACs) are an established approach in safety engineering to argue quality claims in a structured way. In the context of quality assurance for Machine Learning (ML)-based software components, ACs are also being discussed and appear promising. Tools for operationalizing ACs do exist, yet mainly focus on supporting safety engineers on the system level. However, assuring the quality of an ML component within the system is commonly the responsibility of data scientists, who are usually less familiar with these tools. To address this gap, we propose a framework to support the operationalization of ACs for ML components based on technologies that data scientists use on a daily basis: Python and Jupyter Notebook. Our aim is to make the process of creating ML-related evidence in ACs more effective. Results from the application of the framework, documented through notebooks, can be integrated into existing AC tools. We illustrate the application of the framework on an example excerpt concerned with the quality of the test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google