Neural Architecture Search for Sentence Classification with BERT

要約

大規模なテキスト コーパスで言語モデルを事前トレーニングすることは、自然言語処理では一般的な方法です。
次に、さまざまなタスクで最良の結果を達成するために、これらのモデルの微調整が実行されます。
この論文では、ネットワーク上に分類ヘッドとして 1 つの出力層のみを追加するという一般的な慣行に疑問を呈します。
AutoML 検索を実行して、わずかなコンピューティング コストで現在の単一レイヤーよりも優れたパフォーマンスを発揮するアーキテクチャを見つけます。
GLUE データセットからのさまざまな NLP ベンチマークで分類アーキテクチャを検証します。

要約(オリジナル)

Pre training of language models on large text corpora is common practice in Natural Language Processing. Following, fine tuning of these models is performed to achieve the best results on a variety of tasks. In this paper we question the common practice of only adding a single output layer as a classification head on top of the network. We perform an AutoML search to find architectures that outperform the current single layer at only a small compute cost. We validate our classification architecture on a variety of NLP benchmarks from the GLUE dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google