The Impact of Environment Configurations on the Stability of AI-Enabled Systems

要約

現在、ソフトウェアシステムには人工知能（AI）コンポーネントが含まれる傾向があります。
運用環境の変化は、行動に意図しない変化を引き起こすことにより、AI対応ソフトウェアシステムの安定性に悪影響を与えることが知られています。
ただし、環境構成がそのようなシステムの動作にどのように影響するかは、まだ調査されていません。
さまざまな環境設定によって引き起こされる不安定性の程度を理解して定量化することで、実務家が最も安定したAIシステムに最適な環境構成を決定するのに役立ちます。
この目標を達成するために、Travis CIプラットフォームを使用して30ドルのオープンソースAI対応システムで、3つの主要環境変数（オペレーティングシステム、Pythonバージョン、CPUアーキテクチャ）の8つの異なる組み合わせを使用して実験を行いました。
3つのメトリックを使用して、各構成によって導入される不安定性の存在と程度を決定します。システムのAIコンポーネント（モデルパフォーマンス）の出力、システムの構築と実行に必要な時間（処理時間）、およびシステムの構築と実行に関連するコスト（費用）です。
我々の結果は、環境構成の変化が3つのメトリックすべてにわたって不安定性につながることを示しています。
ただし、モデルのパフォーマンスではなく、処理時間と費用に関してより頻繁に観察されます。
たとえば、LinuxとMacOSの間で、モデルのパフォーマンス、処理時間、および費用で、それぞれ23 \％、96.67 \％、および100 \％の調査プロジェクトで不安定性が観察されます。
私たちの調査結果は、モデルパフォーマンスの低下を軽減し、AI対応システムを展開する前に処理時間と費用を削減するための構成設定の最適な組み合わせを特定することの重要性を強調しています。

要約(オリジナル)

Nowadays, software systems tend to include Artificial Intelligence (AI) components. Changes in the operational environment have been known to negatively impact the stability of AI-enabled software systems by causing unintended changes in behavior. However, how an environment configuration impacts the behavior of such systems has yet to be explored. Understanding and quantifying the degree of instability caused by different environment settings can help practitioners decide the best environment configuration for the most stable AI systems. To achieve this goal, we performed experiments with eight different combinations of three key environment variables (operating system, Python version, and CPU architecture) on $30$ open-source AI-enabled systems using the Travis CI platform. We determine the existence and the degree of instability introduced by each configuration using three metrics: the output of an AI component of the system (model performance), the time required to build and run the system (processing time), and the cost associated with building and running the system (expense). Our results indicate that changes in environment configurations lead to instability across all three metrics; however, it is observed more frequently with respect to processing time and expense rather than model performance. For example, between Linux and MacOS, instability is observed in 23\%, 96.67\%, and 100\% of the studied projects in model performance, processing time, and expense, respectively. Our findings underscore the importance of identifying the optimal combination of configuration settings to mitigate drops in model performance and reduce the processing time and expense before deploying an AI-enabled system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google