Data Mesh: Motivational Factors, Challenges, and Best Practices

要約

タイトル：Data Mesh：動機付け要因、課題、およびベストプラクティス

要約：

– 現在のデータアーキテクチャは、データや分析の使用例の規模や範囲に対応するように設計されていません。
– データメッシュは、データの民主化を促進するためのアーキテクチャ的側面を含む社会技術的な概念です。
– データメッシュのコンセプトはまだ新しいため、業界の経験に基づく実証的洞察が不足しています。
– 現在の研究では、データメッシュの導入の動機づけ、関連する課題、ベストプラクティス、ビジネスインパクト、および潜在的なアーキタイプを理解する必要があります。
– 15人の業界専門家との半構造化インタビューを実施し、データメッシュの導入に苦労していること、データ製品の開発、提供、およびメンテナンスに対する責任の移行、およびデータ製品モデルのコンセプトがあることを示しました。
– 研究では、複数のベストプラクティスを導出し、データファブリックの要素を採用し、データ製品の使用を観察し、早い段階でクイックウィンを創造し、優先的にデータ製品に特化した小規模の専門チームを支持することを提案しています。
– 著者たちは、組織が個々のニーズに応じてベストプラクティスを適用する必要があることを認識していますが、2つのアーキタイプを提案しています。
– この研究の結果は、業界専門家の洞察を統合し、研究者とプロフェッショナルにデータメッシュの成功した採用のためのガイドラインを提供します。

要約(オリジナル)

With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical concept that includes architectural aspects to promote data democratization and enables organizations to become truly data-driven. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, best practices, its business impact, and potential archetypes, is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that industry experts have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the concept of a data product model. In our work, we derive multiple best practices and suggest organizations embrace elements of data fabric, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply best practices according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with guidelines for the successful adoption of data mesh.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI