ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases

要約

Commonsense Knowledge Bases (CSKB) を使った推論、つまり CSKB 推論は、元の CSKB の参照知識と外部の事前知識に基づいて新しい常識知識を獲得する方法として研究されてきました。
大規模言語モデル (LLM) とさまざまな推論タスクにおける迅速なエンジニアリング技術の進歩にもかかわらず、CSKB 推論に対処するのは依然として困難です。
問題の 1 つは、記号推論能力が欠如しているため、コンテキスト内のイグザンプラのみから CSKB の明示的な関係制約を取得することが難しいことです (Bengio et al., 2021)。
この目的を達成するために、私たちは、明示的な制約を提供およびチェックするためのプロンプト手法を使用するプラグインである **ConstraintChecker** を提案しました。
新しいナレッジ インスタンスを検討するとき、ConstraintChecker はルールベースのモジュールを使用して制約のリストを作成し、ゼロショット学習モジュールを使用してこのナレッジ インスタンスがすべての制約を満たすかどうかをチェックします。
取得された制約チェック結果は、メイン プロンプト手法の出力と集約されて、最終出力が生成されます。
CSKB Reasoning ベンチマークの実験結果は、すべてのプロンプト手法に対して一貫した改善をもたらし、私たちの手法の有効性を示しています。
コードとデータは \url{https://github.com/HKUST-KnowComp/ConstraintChecker} で入手できます。

要約(オリジナル)

Reasoning over Commonsense Knowledge Bases (CSKB), i.e. CSKB reasoning, has been explored as a way to acquire new commonsense knowledge based on reference knowledge in the original CSKBs and external prior knowledge. Despite the advancement of Large Language Models (LLM) and prompt engineering techniques in various reasoning tasks, they still struggle to deal with CSKB reasoning. One of the problems is that it is hard for them to acquire explicit relational constraints in CSKBs from only in-context exemplars, due to a lack of symbolic reasoning capabilities (Bengio et al., 2021). To this end, we proposed **ConstraintChecker**, a plugin over prompting techniques to provide and check explicit constraints. When considering a new knowledge instance, ConstraintChecker employs a rule-based module to produce a list of constraints, then it uses a zero-shot learning module to check whether this knowledge instance satisfies all constraints. The acquired constraint-checking result is then aggregated with the output of the main prompting technique to produce the final output. Experimental results on CSKB Reasoning benchmarks demonstrate the effectiveness of our method by bringing consistent improvements over all prompting methods. Codes and data are available at \url{https://github.com/HKUST-KnowComp/ConstraintChecker}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google