A Survey of Pipeline Tools for Data Engineering

要約

現在、データ エンジニアリングで使用できるさまざまなパイプライン ツールが利用可能です。
データ サイエンティストは、これらのツールを使用して、データに関連するデータ ラングリングの問題を解決し、データの取り込みからデータの準備、機械学習 (ML) の入力としての利用までの一部のデータ エンジニアリング タスクを実行できます。
これらのツールの中には、必須の組み込みコンポーネントを備えているものや、他のツールと組み合わせて必要なデータ エンジニアリング操作を実行できるものもあります。
一部のツールは完全または部分的に商用ですが、専門家レベルのデータ エンジニアリング タスクを実行するために利用できるオープンソース ツールもいくつかあります。
この調査では、パイプライン ツールの幅広いカテゴリと例を、その設計とデータ エンジニアリングの意図に基づいて調査します。
これらのカテゴリには、抽出変換ロード/抽出ロード変換 (ETL/ELT)、データ統合、取り込み、変換用のパイプライン、データ パイプライン オーケストレーションとワークフロー管理、および機械学習パイプラインがあります。
この調査では、これらの広範なグループ内での例を使用して利用の大まかな概要も示し、最後に、データ エンジニアリングでのパイプライン ツールの使用法を示すケース スタディを示したディスカッションが行われます。
この研究では、サンプル データを使用した最初のユーザーのアプリケーション エクスペリエンス、適用されたパイプラインの複雑さ、およびこれらのツールを使用して機械学習用のデータを準備するアプローチの概要を示します。

要約(オリジナル)

Currently, a variety of pipeline tools are available for use in data engineering. Data scientists can use these tools to resolve data wrangling issues associated with data and accomplish some data engineering tasks from data ingestion through data preparation to utilization as input for machine learning (ML). Some of these tools have essential built-in components or can be combined with other tools to perform desired data engineering operations. While some tools are wholly or partly commercial, several open-source tools are available to perform expert-level data engineering tasks. This survey examines the broad categories and examples of pipeline tools based on their design and data engineering intentions. These categories are Extract Transform Load/Extract Load Transform (ETL/ELT), pipelines for Data Integration, Ingestion, and Transformation, Data Pipeline Orchestration and Workflow Management, and Machine Learning Pipelines. The survey also provides a broad outline of the utilization with examples within these broad groups and finally, a discussion is presented with case studies indicating the usage of pipeline tools for data engineering. The studies present some first-user application experiences with sample data, some complexities of the applied pipeline, and a summary note of approaches to using these tools to prepare data for machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google