Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks

要約

特定のテキストに対する聴衆の反応を予測することは、政治、研究、商業業界に至るまで、社会のさまざまな側面にとって不可欠です。
感情分析 (SA) は、語彙/統計および深層学習手法を利用して、さまざまなサイズのテキストが肯定的な感情、否定的な感情、または中立的な感情を示すかを判断する便利な自然言語処理 (NLP) 手法です。
リカレント ネットワークは、シーケンシャル データの問題に対して機械学習コミュニティで広く使用されています。
ただし、長期短期記憶ネットワークとゲート反復型ユニットに基づくモデルの欠点は、パラメーターの数が非常に多いため、このようなモデルは計算コストが高くつくことです。
この欠点は、利用可能なデータが限られている場合にはさらに顕著になります。
また、このようなモデルでは、最適なパフォーマンスを達成するために、大幅なオーバーパラメーター化と正則化が必要になります。
テンソル化されたモデルは、潜在的な解決策を表します。
この論文では、いくつかのソーシャルメディア投稿の感情を分類します。
従来のリカレント モデルとそのテンソル化バージョンを比較し、テンソル化モデルでは、トレーニングに使用するリソースが少なくなりながら、従来のモデルと同等のパフォーマンスに達することを示します。

要約(オリジナル)

Anticipating audience reaction towards a certain text is integral to several facets of society ranging from politics, research, and commercial industries. Sentiment analysis (SA) is a useful natural language processing (NLP) technique that utilizes lexical/statistical and deep learning methods to determine whether different-sized texts exhibit positive, negative, or neutral emotions. Recurrent networks are widely used in machine-learning communities for problems with sequential data. However, a drawback of models based on Long-Short Term Memory networks and Gated Recurrent Units is the significantly high number of parameters, and thus, such models are computationally expensive. This drawback is even more significant when the available data are limited. Also, such models require significant over-parameterization and regularization to achieve optimal performance. Tensorized models represent a potential solution. In this paper, we classify the sentiment of some social media posts. We compare traditional recurrent models with their tensorized version, and we show that with the tensorized models, we reach comparable performances with respect to the traditional models while using fewer resources for the training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google