The Broad Impact of Feature Imitation: Neural Enhancements Across Financial, Speech, and Physiological Domains

要約

ニューラル ネットワークの重みの初期化は、パフォーマンスを決定する上で極めて重要な役割を果たします。
特徴模倣ネットワーク (FIN) は、特定の閉形式統計特徴に近似するように重みを初期化することで新しい戦略を提供し、深層学習アーキテクチャの有望な基盤を確立します。
FIN の適用性は主に生物医学分野でテストされてきましたが、この研究ではその探求を他の時系列データセットにも拡張しています。
この研究では、パフォーマンス向上のための Tsallis エントロピーの模倣の適用性をテストするために、ビットコイン価格予測、音声感情認識、および慢性首痛検出の 3 つの異なる実験が行われました。
ビットコインの価格予測では、FIN が埋め込まれたモデルにより、ベースラインと比較して二乗平均平方根誤差が約 1000 減少しました。
音声感情認識タスクでは、FIN 拡張モデルにより分類精度が 3% 以上向上しました。
最後に、CNP 検出実験では、確立された分類器と比較して約 7% の改善が観察されました。
これらの発見は、さまざまな用途における FIN の広範な有用性と有効性を検証します。

要約(オリジナル)

Initialization of neural network weights plays a pivotal role in determining their performance. Feature Imitating Networks (FINs) offer a novel strategy by initializing weights to approximate specific closed-form statistical features, setting a promising foundation for deep learning architectures. While the applicability of FINs has been chiefly tested in biomedical domains, this study extends its exploration into other time series datasets. Three different experiments are conducted in this study to test the applicability of imitating Tsallis entropy for performance enhancement: Bitcoin price prediction, speech emotion recognition, and chronic neck pain detection. For the Bitcoin price prediction, models embedded with FINs reduced the root mean square error by around 1000 compared to the baseline. In the speech emotion recognition task, the FIN-augmented model increased classification accuracy by over 3 percent. Lastly, in the CNP detection experiment, an improvement of about 7 percent was observed compared to established classifiers. These findings validate the broad utility and potency of FINs in diverse applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google