Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss

要約

読解および論理的推論タスク用の機械学習モデルの開発における現在の傾向は、論理ルールを理解して利用するモデルの能力を向上させることに重点が置かれています。
この研究は、人間が読解力と論理的推論のタスクを与えられたときに使用する共通の戦略を表すことによって、他のいくつかのモデルよりも解釈可能なコンポーネントを備えた新しい損失関数と付随するモデル アーキテクチャを提供することに焦点を当てています。
この戦略では、絶対精度よりも相対精度を重視するため、理論的には、質問を解くために必要な情報を完全に知らなくても正しい答えを導き出すことができます。
このような戦略を適用して転移学習モデルをトレーニングし、読解力と論理的推論の問題を解決する効果を検証します。
モデルは、読解力と論理的推論の難しいベンチマークである ReClor データセットで評価されました。
我々は、各選択肢の真の正確さを学習することよりも、回答選択肢の相対的な正確さを学習することを確実に優先するために、三重項損失関数の拡張であるポリタプレット損失関数を提案します。
私たちの結果は、多連符損失を採用したモデルが既存のベースライン モデルよりも優れていることを示しています。
多項損失は他の対照的な損失関数に代わる有望な代替手段ですが、それがもたらす利点を定量化するにはさらなる研究が必要です。

要約(オリジナル)

The current trend in developing machine learning models for reading comprehension and logical reasoning tasks is focused on improving the models’ abilities to understand and utilize logical rules. This work focuses on providing a novel loss function and accompanying model architecture that has more interpretable components than some other models by representing a common strategy employed by humans when given reading comprehension and logical reasoning tasks. This strategy involves emphasizing relative accuracy over absolute accuracy and can theoretically produce the correct answer without full knowledge of the information required to solve the question. We examine the effectiveness of applying such a strategy to train transfer learning models to solve reading comprehension and logical reasoning questions. The models were evaluated on the ReClor dataset, a challenging reading comprehension and logical reasoning benchmark. We propose the polytuplet loss function, an extension of the triplet loss function, to ensure prioritization of learning the relative correctness of answer choices over learning the true accuracy of each choice. Our results indicate that models employing polytuplet loss outperform existing baseline models. Although polytuplet loss is a promising alternative to other contrastive loss functions, further research is required to quantify the benefits it may present.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google