Toto: Time Series Optimized Transformer for Observability

要約

この技術レポートでは、Datadog によって開発された時系列予測のための新しい最先端の基礎モデルである Time Series Optimized Transformer for Observability (Toto) について説明します。
このモデルは、電力や気象などの分野における一般化された時系列ベンチマークの最先端技術を進歩させることに加えて、可観測性メトリクス向けに特別に調整された初の汎用時系列予測基盤モデルです。
Toto は、現在公開されているすべての時系列基礎モデルの中で最大である 1 兆の時系列データ ポイントのデータセットでトレーニングされました。
公開されている時系列データセットと並んで、Toto のトレーニングに使用されるデータの 75% は、Datadog プラットフォームからの完全に匿名の数値メトリクス データ ポイントで構成されています。
私たちの実験では、Toto は可観測性データに関して既存の時系列基盤モデルよりも優れたパフォーマンスを示しました。
これを実現しながら、汎用の予測タスクにも優れており、複数のオープン ベンチマーク データセットで最先端のゼロショット パフォーマンスを実現します。

要約(オリジナル)

This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state of the art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto was trained on a dataset of one trillion time series data points, the largest among all currently published time series foundation models. Alongside publicly available time series datasets, 75% of the data used to train Toto consists of fully anonymous numerical metric data points from the Datadog platform. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google