Signature Methods in Machine Learning

要約

署名ベースの技術は、進化するデータの複雑なストリーム間の相互作用に対する数学的な洞察を与えます。
これらの洞察は、ストリーム データを理解するための数値的アプローチに非常に自然に変換でき、おそらくその数学的精度のおかげで、データが不規則で定常ではない状況や、データの次元と
サンプルサイズはどちらも中程度です。
ストリーミングされたマルチモーダル データを理解することは指数関数的です。サイズ $d$ のアルファベットの $n$ 文字の単語は、$d^n$ メッセージのいずれかである可能性があります。
シグネチャは、サンプリングの不規則性から生じる指数関数的な量のノイズを除去しますが、指数関数的な量の情報は依然として残ります。
この調査は、指数関数的なスケーリングを直接管理できる領域にとどまることを目的としています。
スケーラビリティの問題は多くの問題において重要な課題ですが、別の調査記事とさらなるアイデアが必要になります。
この調査では、データセットが大規模な機械学習の可能性を排除できるほど十分に小さく、コンテキストフリーで原則に基づいた特徴の小さなセットの存在が効果的に使用できる、さまざまなコンテキストについて説明します。
ツールの数学的性質により、数学者以外の人にとっては使用が恐ろしい場合があります。
この記事で紹介する例は、このコミュニケーションのギャップを埋め、機械学習のコンテキストから抽出された扱いやすい実用的な例を提供することを目的としています。
これらの例のいくつかについては、ノートブックをオンラインで入手できます。
この調査は、この機械の開発の初期の時点でほぼ同様の目的を持っていたイリヤ・チェブリエフとアンドレイ・コルミリツィンの初期の論文に基づいています。
この記事では、データ型にほとんど依存しない方法で、署名によって提供される理論的な洞察がアプリケーション データの分析でどのように簡単に実現されるかを説明します。

要約(オリジナル)

Signature-based techniques give mathematical insight into the interactions between complex streams of evolving data. These insights can be quite naturally translated into numerical approaches to understanding streamed data, and perhaps because of their mathematical precision, have proved useful in analysing streamed data in situations where the data is irregular, and not stationary, and the dimension of the data and the sample sizes are both moderate. Understanding streamed multi-modal data is exponential: a word in $n$ letters from an alphabet of size $d$ can be any one of $d^n$ messages. Signatures remove the exponential amount of noise that arises from sampling irregularity, but an exponential amount of information still remain. This survey aims to stay in the domain where that exponential scaling can be managed directly. Scalability issues are an important challenge in many problems but would require another survey article and further ideas. This survey describes a range of contexts where the data sets are small enough to remove the possibility of massive machine learning, and the existence of small sets of context free and principled features can be used effectively. The mathematical nature of the tools can make their use intimidating to non-mathematicians. The examples presented in this article are intended to bridge this communication gap and provide tractable working examples drawn from the machine learning context. Notebooks are available online for several of these examples. This survey builds on the earlier paper of Ilya Chevryev and Andrey Kormilitzin which had broadly similar aims at an earlier point in the development of this machinery. This article illustrates how the theoretical insights offered by signatures are simply realised in the analysis of application data in a way that is largely agnostic to the data type.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google