The Hyperdimensional Transform for Distributional Modelling, Regression and Classification

要約

超次元コンピューティング (HDC) は、将来のインテリジェント アプリケーションに大きな可能性を秘めたコンピューティング パラダイムとして人気が高まっています。
主なアイデアは 1990 年代にすでに形になっていましたが、HDC は最近、特に機械学習とデータ サイエンスの分野で大きな注目を集めています。
HDC は、効率性、相互運用性、説明可能性に加えて、ニューラル ネットワークからのコネクショニズムのアイデアを記号的な側面と組み合わせようとする試みと見なすことができるため、一般化のための魅力的な特性を提供します。
最近の研究では、超次元変換を導入し、関数と分布を高次元のホログラフィック ベクトルとして表現するための深い理論的基礎を明らかにしました。
ここでは、データ サイエンスの幅広い聴衆に超次元変換の力を紹介します。
私たちは超次元変換を理論的基礎として使用し、機械学習のための最先端の HDC アプローチについての洞察を提供します。
既存のアルゴリズムをどのように変更できるか、そしてこの変換によって新しく十分な根拠のあるツールボックスがどのように得られるかを示します。
機械学習の標準的な回帰および分類タスクに加えて、私たちの議論には、表現、学習および分布のデコンボリューション、サンプリング、ベイズ推論、不確実性推定などの統計モデリングのさまざまな側面が含まれます。

要約(オリジナル)

Hyperdimensional computing (HDC) is an increasingly popular computing paradigm with immense potential for future intelligent applications. Although the main ideas already took form in the 1990s, HDC recently gained significant attention, especially in the field of machine learning and data science. Next to efficiency, interoperability and explainability, HDC offers attractive properties for generalization as it can be seen as an attempt to combine connectionist ideas from neural networks with symbolic aspects. In recent work, we introduced the hyperdimensional transform, revealing deep theoretical foundations for representing functions and distributions as high-dimensional holographic vectors. Here, we present the power of the hyperdimensional transform to a broad data science audience. We use the hyperdimensional transform as a theoretical basis and provide insight into state-of-the-art HDC approaches for machine learning. We show how existing algorithms can be modified and how this transform can lead to a novel, well-founded toolbox. Next to the standard regression and classification tasks of machine learning, our discussion includes various aspects of statistical modelling, such as representation, learning and deconvolving distributions, sampling, Bayesian inference, and uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google