Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge

要約

ディープラーニング（DL）システムは、特に正確性やリソース効率などの品質属性に関するソフトウェアエンジニアリングにおけるユニークな課題を提示します。
DLモデルは特定のタスクに優れていますが、エンジニアリングDLシステムは依然として不可欠です。
ソフトウェアエンジニアは、品質属性と比較してシステムの改良を停止するタイミングの重要な決定に直面することが多いため、継続的な改善の努力、コスト、および潜在的な収益の減少を慎重に評価する必要があります。
このエクスペリエンスペーパーでは、チームが品質属性に対する設計上の決定の影響を評価および正当化できるようにする透明で再現可能な実験環境を作成する際に、監視や実験追跡などのMLOPSプラクティスの役割を探ります。
さらに、ドメインの知識をDLモデルの設計に埋め込み、より大きなシステム内での統合を埋め込むことにより、品質の課題に対処する経験について報告します。
この調査結果は、ドメインの知識とMLOPの利点に関する実用的な洞察と、DLプロジェクトのさらなる最適化を制限して全体的なシステムの品質と信頼性を最大化する時期の戦略的検討を提供します。

要約(オリジナル)

Deep learning (DL) systems present unique challenges in software engineering, especially concerning quality attributes like correctness and resource efficiency. While DL models excel in specific tasks, engineering DL systems is still essential. The effort, cost, and potential diminishing returns of continual improvements must be carefully evaluated, as software engineers often face the critical decision of when to stop refining a system relative to its quality attributes. This experience paper explores the role of MLOps practices — such as monitoring and experiment tracking — in creating transparent and reproducible experimentation environments that enable teams to assess and justify the impact of design decisions on quality attributes. Furthermore, we report on experiences addressing the quality challenges by embedding domain knowledge into the design of a DL model and its integration within a larger system. The findings offer actionable insights into the benefits of domain knowledge and MLOps and the strategic consideration of when to limit further optimizations in DL projects to maximize overall system quality and reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google