On the Non-Associativity of Analog Computations

要約

アナログ形式のコンピューティングはエネルギー効率が高いため、リソースを大量に消費する機械学習タスクを、モバイル デバイスや組み込みデバイスなどのリソースに制約のあるシステムに展開するための最も有望な候補の 1 つとなります。
しかし、アナログ計算には離散化のセーフティ ネットが欠如していることがよく知られており、したがってすべてのアナログ計算は対応する実装のさまざまな不完全さにさらされます。
例には、非線形性、飽和効果、さまざまな形のノイズが含まれます。
この研究では、アナログ演算の入力オペランドの順序も出力結果に影響を及ぼし、基礎となる演算が数学的に結合的であっても、本質的にアナログ計算が非結合的になることを観察しました。
このような順序付け効果を捉える実際のアナログ プロセッサのモデルを作成することにより、簡単なテストを実行します。
このモデルでは、順序付けされたモデル、順序付けされていないバリアント、および実際のハードウェアのいずれかに基づいてトレーニングされたキーワード スポッティング用のニューラル ネットワークのテスト精度を比較することによって、順序付けの重要性を評価します。
この結果は、順序付け効果の存在とその大きな影響を証明しており、順序付けを無視すると精度が大幅に低下します。

要約(オリジナル)

The energy efficiency of analog forms of computing makes it one of the most promising candidates to deploy resource-hungry machine learning tasks on resource-constrained system such as mobile or embedded devices. However, it is well known that for analog computations the safety net of discretization is missing, thus all analog computations are exposed to a variety of imperfections of corresponding implementations. Examples include non-linearities, saturation effect and various forms of noise. In this work, we observe that the ordering of input operands of an analog operation also has an impact on the output result, which essentially makes analog computations non-associative, even though the underlying operation might be mathematically associative. We conduct a simple test by creating a model of a real analog processor which captures such ordering effects. With this model we assess the importance of ordering by comparing the test accuracy of a neural network for keyword spotting, which is trained based either on an ordered model, on a non-ordered variant, and on real hardware. The results prove the existence of ordering effects as well as their high impact, as neglecting ordering results in substantial accuracy drops.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google