Advancing Transformer’s Capabilities in Commonsense Reasoning

要約

汎用の事前トレーニング済み言語モデルの最近の進歩により、常識的な推論において大きな可能性が示されています。
ただし、現在の作品は、Com2Sense データセットを含む標準的な常識推論ベンチマークでは依然としてパフォーマンスが低くなります。
私たちは、これは現在の最先端の機械学習手法との乖離によるものであると主張します。
この研究では、常識的推論のタスクにおいて汎用の事前トレーニング済み言語モデルを改善するために現在の ML ベースの手法を導入することでギャップを埋めることを目指しています。
具体的には、知識伝達、モデルアンサンブル、追加のペアワイズ対照目標の導入などの方法を実験し、体系的に評価します。
当社の最高のモデルは、ペアワイズ精度で最大 15\% 絶対ゲイン、標準精度で最大 8.7\% 絶対ゲインにより、最も強力な過去のモデルを上回っています。

要約(オリジナル)

Recent advances in general purpose pre-trained language models have shown great potential in commonsense reasoning. However, current works still perform poorly on standard commonsense reasoning benchmarks including the Com2Sense Dataset. We argue that this is due to a disconnect with current cutting-edge machine learning methods. In this work, we aim to bridge the gap by introducing current ML-based methods to improve general purpose pre-trained language models in the task of commonsense reasoning. Specifically, we experiment with and systematically evaluate methods including knowledge transfer, model ensemble, and introducing an additional pairwise contrastive objective. Our best model outperforms the strongest previous works by ~15\% absolute gains in Pairwise Accuracy and ~8.7\% absolute gains in Standard Accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google