Supporting the development of Machine Learning for fundamental science in a federated Cloud with the AI_INFN platform

要約

Machine Learning（ML）は、科学者がデータ集約型ソフトウェアを設計、開発、展開する方法に革命を促進しています。
ただし、MLの採用は、特に開発、テスト、および生産のためのハードウェアアクセラレータへのアクセスのプロビジョニングと調整の観点から、コンピューティングインフラストラクチャの新しい課題を提示します。
INFN資金によるプロジェクトAI_INFN（ ‘INFNの人工知能’）は、AIに誘導されたコンピューティングリソースの提供を含む複数の側面に関するサポートを提供することにより、INFNユースケース内でML技術の採用を促進することを目指しています。
INFNクラウドのコンテキストでクラウドネイティブソリューションを活用して、ハードウェアアクセラレータを可能な限り効果的に共有し、研究所の研究活動の多様性が損なわれないようにします。
この貢献では、GPUを搭載したデータ分析ワークフローの開発を容易にするために設計されたKubernetesプラットフォームの試運転と、おそらくインターリンクプロバイダーとの仮想kubeletとしてフェデレーションされている不均一な分散コンピューティングリソースでのスケーラビリティに関する最新情報を提供します。

要約(オリジナル)

Machine Learning (ML) is driving a revolution in the way scientists design, develop, and deploy data-intensive software. However, the adoption of ML presents new challenges for the computing infrastructure, particularly in terms of provisioning and orchestrating access to hardware accelerators for development, testing, and production. The INFN-funded project AI_INFN (‘Artificial Intelligence at INFN’) aims at fostering the adoption of ML techniques within INFN use cases by providing support on multiple aspects, including the provision of AI-tailored computing resources. It leverages cloud-native solutions in the context of INFN Cloud, to share hardware accelerators as effectively as possible, ensuring the diversity of the Institute’s research activities is not compromised. In this contribution, we provide an update on the commissioning of a Kubernetes platform designed to ease the development of GPU-powered data analysis workflows and their scalability on heterogeneous, distributed computing resources, possibly federated as Virtual Kubelets with the interLink provider.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google