Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability of Language Models

要約

自然言語処理 (NLP) コミュニティは、クラウド ソーシング技術を使用して、BERT などの最新の言語モデルをトレーニングするための一般言語理解と評価 (GLUE) などのベンチマーク データセットを作成してきました。
GLUE タスクは、アノテーター間のメトリック (Cohens Kappa など) を使用して信頼性スコアを測定します。
しかし、LM の信頼性の側面はしばしば見落とされてきました。
この問題に対処するために、強化学習を利用して ConceptNet と Wikipedia からの知識をナレッジ グラフの埋め込みとして統合する、知識ガイド型 LM アンサンブル アプローチを検討します。
このアプローチは、データセット内の情報不足を補うために外部知識に頼る人間のアノテーターを模倣します。
私たちの調査では、9 つ​​の GLUE データセットにわたって、アンサンブルにより信頼性と精度のスコアが強化され、最先端のパフォーマンスを上回ることが示されています。

要約(オリジナル)

The Natural Language Processing(NLP) community has been using crowd sourcing techniques to create benchmark datasets such as General Language Understanding and Evaluation(GLUE) for training modern Language Models such as BERT. GLUE tasks measure the reliability scores using inter annotator metrics i.e. Cohens Kappa. However, the reliability aspect of LMs has often been overlooked. To counter this problem, we explore a knowledge-guided LM ensembling approach that leverages reinforcement learning to integrate knowledge from ConceptNet and Wikipedia as knowledge graph embeddings. This approach mimics human annotators resorting to external knowledge to compensate for information deficits in the datasets. Across nine GLUE datasets, our research shows that ensembling strengthens reliability and accuracy scores, outperforming state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google