NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge

要約

【タイトル】NeuroComparatives: Comparative Knowledgeの神経記号的蒸留

【要約】
– 比較的な知識（例：鉄はスチロールよりも強く、重い）は、私たちの世界知識の重要な要素ですが、以前の文献では研究が不十分でした。
– この論文では、GPT-3などの極端なスケールの言語モデルの機能向上によって、その知識を知識ベースに取り込む取り組みが進んでいることを受けて、比較的な知識の獲得のタスクを研究します。
– しかし、このようなモデルの推論APIへのアクセスは限られており、知識獲得の範囲や多様性が制限されています。
– そこで、GPT-2などのより利用可能で、かなり小さく弱いモデルを使用して、その結果の品質が大規模なモデルと同等である程度の比較的な知識の獲得に利用できるかどうかという、見かけ上は不可能な質問をします。
– レキシカル制約デコーディングを使用した比較的な知識蒸留のためのNeuroComparativesという新しいフレームワークを紹介し、生成された知識の厳格なフィルタリングが続きます。
– 当社のフレームワークは、日常的なオブジェクト間の比較的な知識を獲得し、1.74Mエンティティペアにわたって8.7Mの比較を結果にするコーパスを生成しました。これは、既存のリソースよりも10倍大きく、30％多様性が高い。
– さらに、人間の評価により、NeuroComparativesは既存のリソース（32％の絶対改善を含む）を上回り、GPT-3を含めても100倍小さいモデルを使用しています。
– 当社の結果は、極端なスケールの言語モデルに依存する現在の支配的な実践に代わる、より費用対効果が高い小型モデルの神経記号的操作を促進しています。

要約(オリジナル)

Comparative knowledge (e.g., steel is stronger and heavier than styrofoam) is an essential component of our world knowledge, yet understudied in prior literature. In this paper, we study the task of comparative knowledge acquisition, motivated by the dramatic improvements in the capabilities of extreme-scale language models like GPT-3, which have fueled efforts towards harvesting their knowledge into knowledge bases. However, access to inference API for such models is limited, thereby restricting the scope and the diversity of the knowledge acquisition. We thus ask a seemingly implausible question: whether more accessible, yet considerably smaller and weaker models such as GPT-2, can be utilized to acquire comparative knowledge, such that the resulting quality is on par with their large-scale counterparts? We introduce NeuroComparatives, a novel framework for comparative knowledge distillation using lexically-constrained decoding, followed by stringent filtering of generated knowledge. Our framework acquires comparative knowledge between everyday objects and results in a corpus of 8.7M comparisons over 1.74M entity pairs – 10X larger and 30% more diverse than existing resources. Moreover, human evaluations show that NeuroComparatives outperform existing resources (up to 32% absolute improvement), even including GPT-3, despite using a 100X smaller model. Our results motivate neuro-symbolic manipulation of smaller models as a cost-effective alternative to the currently dominant practice of relying on extreme-scale language models with limited inference access.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI