Vera: A General-Purpose Plausibility Estimation Model for Commonsense Statements

要約

今日の言語モデルの機能については多くの議論がなされていますが、依然として愚かで予期せぬ常識上の誤りが発生する傾向があります。
LM 出力の正しさを反映する遡及的検証アプローチを検討し、常識的知識に基づいて宣言的ステートメントの妥当性を推定する汎用モデルである Vera を紹介します。
Vera は、19 の QA データセットと 2 つの大規模知識ベースから作成された約 700 万の常識ステートメントでトレーニングされ、3 つのトレーニング目標を組み合わせて、さまざまな常識領域にわたって正しいステートメントと誤ったステートメントを効果的に分離する多用途モデルです。
検証形式の常識問題の解決に適用すると、Vera は常識検証に再利用できる既存のモデルを大幅に上回り、さらに目に見えないタスクに対する汎化機能を示し、適切に調整された出力を提供します。
Vera は LM によって生成された常識知識のフィルタリングに優れており、現実世界の設定で ChatGPT などのモデルによって生成された誤った常識ステートメントを検出するのに役立つことがわかりました。

要約(オリジナル)

Despite the much discussed capabilities of today’s language models, they are still prone to silly and unexpected commonsense failures. We consider a retrospective verification approach that reflects on the correctness of LM outputs, and introduce Vera, a general-purpose model that estimates the plausibility of declarative statements based on commonsense knowledge. Trained on ~7M commonsense statements created from 19 QA datasets and two large-scale knowledge bases, and with a combination of three training objectives, Vera is a versatile model that effectively separates correct from incorrect statements across diverse commonsense domains. When applied to solving commonsense problems in the verification format, Vera substantially outperforms existing models that can be repurposed for commonsense verification, and it further exhibits generalization capabilities to unseen tasks and provides well-calibrated outputs. We find that Vera excels at filtering LM-generated commonsense knowledge and is useful in detecting erroneous commonsense statements generated by models like ChatGPT in real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google