Autoregressive Language Models for Knowledge Base Population: A case study in the space mission domain

要約

ナレッジベースの人口KBPは、ドメインコーパスを活用することにより、組織の最新の知識ベースを専門化および維持する上で重要な役割を果たします。
大規模な言語モデルでサポートされているますます大きなコンテキストウィンドウに動機付けられているため、エンドツーエンドKPBの自己回帰言語モデルを微調整することを提案します。
私たちのケーススタディには、宇宙ミッションナレッジグラフの人口が含まれます。
モデルを微調整するために、既存のドメインリソースをタップするエンドツーエンドKBPのデータセットを生成します。
私たちのケーススタディは、限られたサイズの微調整された言語モデルが、KBPタスクの大規模なモデルよりも競争力の高い精度を達成できることを示しています。
KBPに特化した小さなモデルは、手頃な価格の展開と低コストの推論を提供します。
さらに、KBPスペシャリストモデルでは、オントロジーをプロンプトに含める必要はなく、追加の入力テキストまたは出力シリアル化のためにコンテキストでより多くのスペースを確保できます。

要約(オリジナル)

Knowledge base population KBP plays a crucial role in populating and maintaining knowledge bases up-to-date in organizations by leveraging domain corpora. Motivated by the increasingly large context windows supported by large language models, we propose to fine-tune an autoregressive language model for end-toend KPB. Our case study involves the population of a space mission knowledge graph. To fine-tune the model we generate a dataset for end-to-end KBP tapping into existing domain resources. Our case study shows that fine-tuned language models of limited size can achieve competitive and even higher accuracy than larger models in the KBP task. Smaller models specialized for KBP offer affordable deployment and lower-cost inference. Moreover, KBP specialist models do not require the ontology to be included in the prompt, allowing for more space in the context for additional input text or output serialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google