要約
我々は、不一致を伴う学習タスクにおいて、ソフトラベルとハードラベルの予測のためのディープニューラルネットワークモデルの出力層における異なる活性化関数の影響を研究する。このタスクでは、ソフトラベルを予測することによって、不一致の量を定量化することが目的である。ソフトラベルを予測するために、BERTベースのプリプロセッサとエンコーダを使用し、出力層で使用する活性化関数を変化させ、他のパラメータは一定に保ちます。そして、ソフトラベルはハードラベルの予測に使用される。検討した活性化関数は、シグモイドのほか、学習後にモデルに追加されるステップ関数、本論文で初めて導入された正弦波活性化関数である。
要約(オリジナル)
We study the influence of different activation functions in the output layer of deep neural network models for soft and hard label prediction in the learning with disagreement task. In this task, the goal is to quantify the amount of disagreement via predicting soft labels. To predict the soft labels, we use BERT-based preprocessors and encoders and vary the activation function used in the output layer, while keeping other parameters constant. The soft labels are then used for the hard label prediction. The activation functions considered are sigmoid as well as a step-function that is added to the model post-training and a sinusoidal activation function, which is introduced for the first time in this paper.
arxiv情報
| 著者 | Peyman Hosseini,Mehran Hosseini,Sana Sabah Al-Azzawi,Marcus Liwicki,Ignacio Castro,Matthew Purver |
| 発行日 | 2023-03-04 17:59:43+00:00 |
| arxivサイト | arxiv_id(pdf) |