The Impact of Feature Representation on the Accuracy of Photonic Neural Networks

要約

フォトニック ニューラル ネットワーク (PNN) は、高い並列化、低遅延、エネルギー効率の可能性があるため、研究コミュニティで大きな関心を集めています。
PNN は光を使用して計算するため、入力特徴をネットワークに入力する前にフォトニック ドメインで表現する必要があるなど、エレクトロニクスと比較すると実装にいくつかの違いがあります。
このエンコード プロセスでは、複数の特徴を 1 つの入力に組み合わせて入力と関連デバイスの数を減らすのが一般的で、これにより PNN が小型でエネルギー効率が高くなります。
これによりネットワークによる入力データの処理が変化しますが、PNN への影響はまだ研究されていません。
この論文では、この未解決の質問に対処し、機能を組み合わせた一般的に使用されるエンコード戦略が PNN のパフォーマンスと学習能力に及ぼす影響を調査します。
ここでは、特徴重要度の概念を使用して、特徴の組み合わせを分析するための数学的方法論を開発します。
この方法論を通じて、複数の特徴を 1 つの入力にまとめてエンコードすると、その相対的な重要性が決まり、その結果、データから学習するネットワークの能力が制限されることを示します。
ただし、データに関する事前知識があれば、これを利用して精度を高めることもできます。
最適なエンコード方法を選択することで、他のエンコード技術と比較して、Iris データセットでトレーニングされた PNN の精度が最大 12.3% 向上し、特徴が結合されていないネットワークのパフォーマンスを上回りました。
これらの発見は、特にサイズや電力に制約のあるアプリケーションでは、PNN の精度と意思決定戦略に合わせてエンコードを慎重に選択することの重要性を強調しています。

要約(オリジナル)

Photonic Neural Networks (PNNs) are gaining significant interest in the research community due to their potential for high parallelization, low latency, and energy efficiency. PNNs compute using light, which leads to several differences in implementation when compared to electronics, such as the need to represent input features in the photonic domain before feeding them into the network. In this encoding process, it is common to combine multiple features into a single input to reduce the number of inputs and associated devices, leading to smaller and more energy-efficient PNNs. Although this alters the network’s handling of input data, its impact on PNNs remains understudied. This paper addresses this open question, investigating the effect of commonly used encoding strategies that combine features on the performance and learning capabilities of PNNs. Here, using the concept of feature importance, we develop a mathematical methodology for analyzing feature combination. Through this methodology, we demonstrate that encoding multiple features together in a single input determines their relative importance, thus limiting the network’s ability to learn from the data. Given some prior knowledge of the data, however, this can also be leveraged for higher accuracy. By selecting an optimal encoding method, we achieve up to a 12.3% improvement in accuracy of PNNs trained on the Iris dataset compared to other encoding techniques, surpassing the performance of networks where features are not combined. These findings highlight the importance of carefully choosing the encoding to the accuracy and decision-making strategies of PNNs, particularly in size or power constrained applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google