要約
今日、多くのシステムが人工知能 (AI) を使用して複雑な問題を解決しています。
多くの場合、これによりシステムの有効性が向上しますが、本番環境に対応した AI ベースのシステムを開発することは困難な作業です。
したがって、結果として得られるシステムの品質を確保し、開発プロセスを改善するには、しっかりした AI エンジニアリングの実践が必要です。
AI ベースのシステムを開発するためのいくつかのプラクティスがすでに提案されていますが、これらのプラクティスを適用した詳細な実際の経験はほとんどありません。
この論文では、ケーススタディ、つまり機械学習機能を使用して株式に投資する自律的な株式取引システムの開発中にそのような経験を収集することによって、このギャップに対処することを目指しています。
文献から 10 の AI エンジニアリング プラクティスを選択し、それらの適用可能性と有効性に関する証拠を収集することを目標として、開発中に体系的に適用しました。
構造化されたフィールド ノートを使用して、経験を文書化しました。
さらに、フィールド ノートを使用して、開発中に発生した課題と、それらを克服するために適用したソリューションを文書化しました。
その後、収集したフィールド ノートを分析し、各プラクティスが開発をどのように改善したかを評価しました。
最後に、私たちの証拠を既存の文献と比較しました。
ほとんどの適用されたプラクティスは、程度は異なりますが、システムを改善し、すべての主要な課題を克服することができました.
定性的な結果は、10 の AI エンジニアリング プラクティスに関する詳細な説明と、そのようなプロジェクトに関連する課題と解決策を提供します。
したがって、私たちの経験は、この分野における新たなエビデンスを充実させており、AI エンジニアリングに慣れていない実践者チームにとって特に役立つ可能性があります。
要約(オリジナル)
Today, many systems use artificial intelligence (AI) to solve complex problems. While this often increases system effectiveness, developing a production-ready AI-based system is a difficult task. Thus, solid AI engineering practices are required to ensure the quality of the resulting system and to improve the development process. While several practices have already been proposed for the development of AI-based systems, detailed practical experiences of applying these practices are rare. In this paper, we aim to address this gap by collecting such experiences during a case study, namely the development of an autonomous stock trading system that uses machine learning functionality to invest in stocks. We selected 10 AI engineering practices from the literature and systematically applied them during development, with the goal to collect evidence about their applicability and effectiveness. Using structured field notes, we documented our experiences. Furthermore, we also used field notes to document challenges that occurred during the development, and the solutions we applied to overcome them. Afterwards, we analyzed the collected field notes, and evaluated how each practice improved the development. Lastly, we compared our evidence with existing literature. Most applied practices improved our system, albeit to varying extent, and we were able to overcome all major challenges. The qualitative results provide detailed accounts about 10 AI engineering practices, as well as challenges and solutions associated with such a project. Our experiences therefore enrich the emerging body of evidence in this field, which may be especially helpful for practitioner teams new to AI engineering.
arxiv情報
| 著者 | Marcel Grote,Justus Bogner |
| 発行日 | 2023-03-23 12:27:27+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google