BUCA: A Binary Classification Approach to Unsupervised Commonsense Question Answering

要約

教師なし常識推論 (UCR) は、常識推論データセットの構築に費用がかかり、その範囲が必然的に制限されるため、ますます人気が高まっています。
UCR への一般的なアプローチは、外部知識 (ナレッジ グラフなど) を使用して言語モデルを微調整することですが、これには通常、多数のトレーニング サンプルが必要です。
この論文では、妥当性に従ってすべての回答候補をランク付けすることにより、下流の多肢選択質問応答タスクをより単純な二項分類タスクに変換することを提案します。
この目的を達成するために、モデルをトレーニングするために、ナレッジ グラフ トリプルを合理的なテキストと不合理なテキストに変換します。
広範な実験結果は、さまざまな多肢選択式質問応答ベンチマークに対する私たちのアプローチの有効性を示しています。
さらに、KG を使用する既存の UCR アプローチと比較して、私たちのアプローチはデータ量が少なくなります。
私たちのコードは https://github.com/probe2/BUCA で入手できます。

要約(オリジナル)

Unsupervised commonsense reasoning (UCR) is becoming increasingly popular as the construction of commonsense reasoning datasets is expensive, and they are inevitably limited in their scope. A popular approach to UCR is to fine-tune language models with external knowledge (e.g., knowledge graphs), but this usually requires a large number of training examples. In this paper, we propose to transform the downstream multiple choice question answering task into a simpler binary classification task by ranking all candidate answers according to their reasonableness. To this end, for training the model, we convert the knowledge graph triples into reasonable and unreasonable texts. Extensive experimental results show the effectiveness of our approach on various multiple choice question answering benchmarks. Furthermore, compared with existing UCR approaches using KGs, ours is less data hungry. Our code is available at https://github.com/probe2/BUCA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google