A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure

要約

人工ニューラルネットワーク(ANN)は、バイオインフォマティクスから金融分析に至るまで、様々な学問領域に浸透しており、その応用は現代の科学的研究努力に不可欠な側面となっている。しかし、従来のニューラルネットワークには、ネットワーク構造と活性化関数が比較的固定的であるという固有の限界がある。1、活性化関数の種類が単一で比較的固定されているため、ネットワークの「単位表現能力」が低く、非常に複雑なネットワークで単純な問題を解決するために使用されることが多い。2、ネットワーク構造が適応的でないため、ネットワーク構造が冗長または不十分となりやすい。以上の問題点を解決するために、本研究ではX-Netと呼ばれる新しいニューラルネットワークを提案する。我々が設計した交互バックプロパゲーションメカニズムを利用することにより、X-Netは学習中に微分情報に基づいて適切な活性化関数を動的に選択し、特定のタスクに対するネットワークの表現能力を向上させる。同時に、様々な複雑さのタスクに対応し、計算コストを削減するために、ニューロンレベルでネットワーク構造を正確に調整する。一連の実験を通して、モデルサイズの縮小と表現力の向上というX-Netの2つの利点を実証する。具体的には、パラメータ数において、X-Netはベースラインの平均3$%$しかなく、タスクによっては1.4$%$しかない。表現能力に関しては、X-Netはパラメータを導入せずに活性化関数を最適化するだけで、フィッティングタスクで平均$R^2$=0.985を達成できる。最後に、社会、エネルギー、環境、航空宇宙など複数の分野のデータに対して、X-Netの科学的発見を支援する能力もテストし、簡潔で良好な結果を得た。

要約(オリジナル)

Artificial neural networks (ANNs) have permeated various disciplinary domains, ranging from bioinformatics to financial analytics, where their application has become an indispensable facet of contemporary scientific research endeavors. However, the inherent limitations of traditional neural networks arise due to their relatively fixed network structures and activation functions. 1, The type of activation function is single and relatively fixed, which leads to poor ‘unit representation ability’ of the network, and it is often used to solve simple problems with very complex networks; 2, the network structure is not adaptive, it is easy to cause network structure redundant or insufficient. To address the aforementioned issues, this study proposes a novel neural network called X-Net. By utilizing our designed Alternating Backpropagation mechanism, X-Net dynamically selects appropriate activation functions based on derivative information during training to enhance the network’s representation capability for specific tasks. Simultaneously, it accurately adjusts the network structure at the neuron level to accommodate tasks of varying complexities and reduce computational costs. Through a series of experiments, we demonstrate the dual advantages of X-Net in terms of reducing model size and improving representation power. Specifically, in terms of the number of parameters, X-Net is only 3$\%$ of baselines on average, and only 1.4$\%$ under some tasks. In terms of representation ability, X-Net can achieve an average $R^2$=0.985 on the fitting task by only optimizing the activation function without introducing any parameters. Finally, we also tested the ability of X-Net to help scientific discovery on data from multiple disciplines such as society, energy, environment, and aerospace, and achieved concise and good results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL