A Continual Development Methodology for Large-scale Multitask Dynamic ML Systems

要約

従来の機械学習 (ML) 方法論では、開発と実験のプロセスを切り離された反復に分割する必要があり、そのフィードバックを使用して設計またはチューニングの選択を導きます。
この方法論には、最終的なソリューションに貢献しない複数の試行モデルの作成に多大なリソースを費やすことになるなど、効率とスケーラビリティに関する複数の欠点があります。提示された作業は、ML モデルをモジュラーで拡張可能なアーティファクトとして定義することで可能になるという直感に基づいています。
複数の設計と評価の反復を単一の無制限のインテリジェント システムの継続的な強化に統合できるようにする、新しい ML 開発方法論を導入します。
一連の拡張と一般化として動的マルチタスク ML モデルを生成するための新しい方法を定義します。
最初に、標準的な ML 経験的評価方法を使用して、提案された方法の機能を分析します。
最後に、提案されたメソッド拡張のプロパティを分析しながら、既存のマルチタスク大規模 ML システムを動的に拡張できる新しい継続的開発方法論を提案します。
これにより、124 の画像分類タスクを共同で解決できる ML モデルが生成され、サイズと計算コストが改善された最先端の品質が達成されます。

要約(オリジナル)

The traditional Machine Learning (ML) methodology requires to fragment the development and experimental process into disconnected iterations whose feedback is used to guide design or tuning choices. This methodology has multiple efficiency and scalability disadvantages, such as leading to spend significant resources into the creation of multiple trial models that do not contribute to the final solution.The presented work is based on the intuition that defining ML models as modular and extensible artefacts allows to introduce a novel ML development methodology enabling the integration of multiple design and evaluation iterations into the continuous enrichment of a single unbounded intelligent system. We define a novel method for the generation of dynamic multitask ML models as a sequence of extensions and generalizations. We first analyze the capabilities of the proposed method by using the standard ML empirical evaluation methodology. Finally, we propose a novel continuous development methodology that allows to dynamically extend a pre-existing multitask large-scale ML system while analyzing the properties of the proposed method extensions. This results in the generation of an ML model capable of jointly solving 124 image classification tasks achieving state of the art quality with improved size and compute cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google