要約
アルゴリズムを考案して、コヒーレンス駆動型の推論をサポートするグラフを客観的にインスタンス化する命題セットを生成します。
次に、大規模な言語モデル(LLM)の能力をベンチマークし、自然言語で表現された命題の(単純な変換)命題からコヒーレンスグラフを再構築し、単一のプロンプトから推論に最適化されたモデルまでの有望な結果をベンチマークします。
コヒーレンス駆動型の推論を、ニューラルモデルによる一貫性評価と組み合わせることで、機械認知の最新技術を進めることができます。
要約(オリジナル)
We devise an algorithm to generate sets of propositions that objectively instantiate graphs that support coherence-driven inference. We then benchmark the ability of large language models (LLMs) to reconstruct coherence graphs from (a straightforward transformation of) propositions expressed in natural language, with promising results from a single prompt to models optimized for reasoning. Combining coherence-driven inference with consistency evaluations by neural models may advance the state of the art in machine cognition.
arxiv情報
著者 | Steve Huntsman,Jewell Thomas |
発行日 | 2025-02-19 18:53:16+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google