Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction

要約

【タイトル】
– 「Lon-ea at SemEval-2023 Task 11: ソフトおよびハードラベル予測のための活性化関数の比較」

【要約】
– 学習に不一致があるタスクにおける、深層ニューラルネットワークモデルの出力層における異なる活性化関数の影響を検討する。
– 不一致を予測するために、ソフトラベルを予測する。このために、BERTベースのプリプロセッサとエンコーダを使用し、他のパラメータを一定に保ったまま、出力層で使用する活性化関数を変化させる。
– ソフトラベルはハードラベル予測に使用される。
– 考慮される活性化関数は、シグモイド関数、モデルの後に追加されるステップ関数、そして本論文で初めて紹介された正弦波関数である。

要約(オリジナル)

We study the influence of different activation functions in the output layer of deep neural network models for soft and hard label prediction in the learning with disagreement task. In this task, the goal is to quantify the amount of disagreement via predicting soft labels. To predict the soft labels, we use BERT-based preprocessors and encoders and vary the activation function used in the output layer, while keeping other parameters constant. The soft labels are then used for the hard label prediction. The activation functions considered are sigmoid as well as a step-function that is added to the model post-training and a sinusoidal activation function, which is introduced for the first time in this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI