Croissant: A Metadata Format for ML-Ready Datasets

要約

データは機械学習 (ML) にとって重要なリソースですが、データの操作は依然として重要な摩擦点です。
このペーパーでは、ML ツールとフレームワークによるデータの使用方法を簡素化するデータセットのメタデータ形式である Croissant について紹介します。
Croissant は、データセットの発見性、移植性、相互運用性を高め、ML データ管理と責任ある AI における重大な課題に対処します。
Croissant は、数十万のデータセットにまたがるいくつかの人気のあるデータセット リポジトリですでにサポートされており、最も人気のある ML フレームワークに読み込む準備ができています。

要約(オリジナル)

Data is a critical resource for Machine Learning (ML), yet working with data remains a key friction point. This paper introduces Croissant, a metadata format for datasets that simplifies how data is used by ML tools and frameworks. Croissant makes datasets more discoverable, portable and interoperable, thereby addressing significant challenges in ML data management and responsible AI. Croissant is already supported by several popular dataset repositories, spanning hundreds of thousands of datasets, ready to be loaded into the most popular ML frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google