PInKS: Preconditioned Commonsense Inference with Minimal Supervision

要約

「ガラスが割れない限り、ガラスは飲料水として使用できる」などの前提条件を備えた推論は、言語モデルにとって未解決の問題のままです。
主な課題は、前提条件データが不足していることと、モデルがそのような推論をサポートしていないことにあります。
我々は、PInKS (Preconditioned Commonsense Inference with WeaK Supervision) を紹介します。これは、最小限の監視を通じて前提条件を使用して推論するための改良モデルです。
私たちは、経験的および理論的に、PInKS が常識知識の前提条件 (最大 40% の Macro-F1 スコア) による推論に焦点を当てたベンチマークの結果を向上させることを示しています。
私たちは、PAC ベイズ情報分析、精度測定、アブレーション研究を通じて PInKS をさらに調査します。

要約(オリジナル)

Reasoning with preconditions such as ‘glass can be used for drinking water unless the glass is shattered’ remains an open problem for language models. The main challenge lies in the scarcity of preconditions data and the model’s lack of support for such reasoning. We present PInKS, Preconditioned Commonsense Inference with WeaK Supervision, an improved model for reasoning with preconditions through minimum supervision. We show, both empirically and theoretically, that PInKS improves the results on benchmarks focused on reasoning with the preconditions of commonsense knowledge (up to 40% Macro-F1 scores). We further investigate PInKS through PAC-Bayesian informativeness analysis, precision measures, and ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google