Knowledge Bases in Support of Large Language Models for Processing Web News

要約

大規模言語モデル (LLM) は、最近幅広いアプリケーションで大きな関心を集めています。
大規模なデータセットによる事前トレーニング中に、このようなモデルは、トレーニングされたデータセットの事実の知識をその隠しパラメーターに暗黙的に記憶します。
ただし、パラメーターに暗黙的に保持されている知識は、常識的な推論の欠如により、下流のアプリケーションでの使用が無効になることがよくあります。
この記事では、Web ニュースの処理に合わせて調整された、LLM を利用してナレッジ ベースを構築できる一般的なフレームワークを紹介します。
このフレームワークは、ルールベースのニュース情報エクストラクター (NewsIE) をニュース項目に適用して、ナレッジ ベースと呼ばれるリレーショナル タプルを抽出します。その後、これらのタプルは、分類のために LLM によって取得されたニュース項目の暗黙的な知識ファクトとグラフ畳み込まれます。
これには 2 つの軽量コンポーネントが含まれます。1) NewsIE: すべてのニュース項目の構造情報をリレーショナル タプルの形式で抽出します。
2) BERTGraph: NewsIE によって抽出された関係タプルを使用して暗黙の知識事実を畳み込むグラフ用。
私たちは、ニュースカテゴリ分類のためのさまざまなニュース関連データセットの下でフレームワークを評価し、有望な実験結果をもたらしました。

要約(オリジナル)

Large Language Models (LLMs) have received considerable interest in wide applications lately. During pre-training via massive datasets, such a model implicitly memorizes the factual knowledge of trained datasets in its hidden parameters. However, knowledge held implicitly in parameters often makes its use by downstream applications ineffective due to the lack of common-sense reasoning. In this article, we introduce a general framework that permits to build knowledge bases with an aid of LLMs, tailored for processing Web news. The framework applies a rule-based News Information Extractor (NewsIE) to news items for extracting their relational tuples, referred to as knowledge bases, which are then graph-convoluted with the implicit knowledge facts of news items obtained by LLMs, for their classification. It involves two lightweight components: 1) NewsIE: for extracting the structural information of every news item, in the form of relational tuples; 2) BERTGraph: for graph convoluting the implicit knowledge facts with relational tuples extracted by NewsIE. We have evaluated our framework under different news-related datasets for news category classification, with promising experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google