Towards Avoiding the Data Mess: Industry Insights from Data Mesh Implementations

要約

データと人工知能の重要性が高まるにつれ、組織はよりデータドリブンになるよう努めています。
ただし、現在のデータ アーキテクチャは、データと分析のユースケースの規模と範囲に必ずしも対応できるように設計されているわけではありません。
実際、既存のアーキテクチャは、それに関連付けられた約束された価値を提供できないことがよくあります。
データ メッシュは、企業データ管理のための社会技術的、分散型の概念です。
データ メッシュの概念はまだ新しいため、現場からの実証的な洞察が不足しています。
具体的には、データ メッシュを導入する動機要因、関連する課題、導入戦略、ビジネスへの影響、潜在的な原型についての理解が欠けています。
このギャップに対処するために、私たちは業界の専門家と 15 回の半構造化インタビューを実施します。
私たちの結果は、他の洞察の中でも特に、組織がデータ メッシュ概念に関連するフェデレーション ガバナンスへの移行、データ製品の開発、提供、保守に対する責任の移行、全体的な概念の理解に困難を抱えていることを示しています。
私たちの取り組みでは、複数の実装戦略を導き出し、組織がクロスドメインステアリングユニットを導入し、データ製品の使用状況を観察し、初期段階で迅速な成果を生み出し、データ製品を優先する小規模の専任チームを優先することを提案します。
組織が個々のニーズに応じて実装戦略を適用する必要があることは認識していますが、より詳細な提案を提供する 2 つのアーキタイプも除外します。
私たちの調査結果は、業界の専門家からの洞察を総合し、研究者や専門家にデータ メッシュの導入を成功させるための予備的なガイドラインを提供します。

要約(オリジナル)

With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical, decentralized, distributed concept for enterprise data management. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, implementation strategies, its business impact, and potential archetypes is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that organizations have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the comprehension of the overall concept. In our work, we derive multiple implementation strategies and suggest organizations introduce a cross-domain steering unit, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply implementation strategies according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with preliminary guidelines for the successful adoption of data mesh.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google