Reasoning over Description Logic-based Contexts with Transformers

要約

現在の最先端技術でトランスベースのモデルの推論能力を測定する 1 つの方法は、論理的な質問応答や自然言語で表現された合成コンテキストに対する証明生成などの下流タスクの精度を評価することです。
ただし、使用されるコンテキストのほとんどは実際には非常に単純です。
ほとんどの場合、それらは少数の論理演算子と数量詞のみを含む短い一次論理文から生成されます。
この研究では、トランスフォーマーベースのモデルが表現的なコンテキストに対する推論をどの程度うまく実行できるかという質問に答えようとします。
この目的のために、記述ロジックの知識ベースによって生成された合成自然言語の質問応答データセットを構築します。
知識ベースの生成には、表現言語 $\mathcal{ALCQ}$ を使用します。
結果として得られるデータセットには 384,000 の例が含まれており、i) 推論の深さ、ii) 文の長さという 2 つの次元で増加します。
DeBERTa ベースのモデル DELTA$_M$ のパフォーマンスは、推論の深さが増加するとわずかに影響を受けますが、文の長さが増加してもまったく影響を受けないことを示します。
また、トレーニング時には見られなかった推論の深さに関するモデルの一般化能力も増加と減少の両方で評価し、モデルの適応一般化能力に関する興味深い洞察を明らかにしました。

要約(オリジナル)

One way that the current state of the art measures the reasoning ability of transformer-based models is by evaluating accuracy in downstream tasks like logical question answering or proof generation over synthetic contexts expressed in natural language. However, most of the contexts used are in practice very simple; in most cases, they are generated from short first-order logic sentences with only a few logical operators and quantifiers. In this work, we seek to answer the question how well a transformer-based model will perform reasoning over expressive contexts. For this purpose, we construct a synthetic natural language question-answering dataset, generated by description logic knowledge bases. For the generation of the knowledge bases, we use the expressive language $\mathcal{ALCQ}$. The resulting dataset contains 384K examples, and increases in two dimensions: i) reasoning depth, and ii) length of sentences. We show that the performance of our DeBERTa-based model, DELTA$_M$, is marginally affected when the reasoning depth is increased and it is not affected at all when the length of the sentences is increasing. We also evaluate the generalization ability of the model on reasoning depths unseen at training, both increasing and decreasing, revealing interesting insights into the model’s adaptive generalization abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google