A Framework for Leveraging Human Computation Gaming to Enhance Knowledge Graphs for Accuracy Critical Generative AI Applications

要約

外部ナレッジ グラフ (KG) を使用すると、大規模言語モデル (LLM) を拡張すると同時に、人間が検査できる説明可能な事実の知識ベースを提供できます。
このアプローチは、人身売買データ分析など、説明可能性が重要な分野で特に価値があると考えられます。
ただし、KG の作成には課題が生じる可能性があります。
文書から解析された KG は、明示的な接続 (文書によって直接記述されているもの) を含んでいる可能性がありますが、暗黙的な接続 (直接記述されていないが人間にとって明らかなもの) を見逃している可能性があります。
これらの課題に対処するために、この予備調査では GAME-KG フレームワークを導入しています。これは「Gaming for Augmenting Metadata and Enhancing Knowledge Graphs」の略です。
GAME-KG は、ビデオ ゲームを通じて収集されたクラウドソースのフィードバックを使用して、KG 内の明示的および暗黙的な接続を変更するフェデレーテッド アプローチです。
GAME-KG は 2 つのデモンストレーションを通じて示されます。Dark Shadows の Unity テスト シナリオ、人身売買に関する米国司法省 (DOJ) のプレス リリースから解析された KG に関するフィードバックを収集するビデオ ゲーム、および OpenAI の GPT-4 を使用した次の実験です。
変更された KG と未変更の KG に基づいて質問に答えるように求められます。
初期の結果は、GAME-KG が KG を強化するための効果的なフレームワークであると同時に、人間によって検証された説明可能な構造化された事実のセットを提供できることを示唆しています。

要約(オリジナル)

External knowledge graphs (KGs) can be used to augment large language models (LLMs), while simultaneously providing an explainable knowledge base of facts that can be inspected by a human. This approach may be particularly valuable in domains where explainability is critical, like human trafficking data analysis. However, creating KGs can pose challenges. KGs parsed from documents may comprise explicit connections (those directly stated by a document) but miss implicit connections (those obvious to a human although not directly stated). To address these challenges, this preliminary research introduces the GAME-KG framework, standing for ‘Gaming for Augmenting Metadata and Enhancing Knowledge Graphs.’ GAME-KG is a federated approach to modifying explicit as well as implicit connections in KGs by using crowdsourced feedback collected through video games. GAME-KG is shown through two demonstrations: a Unity test scenario from Dark Shadows, a video game that collects feedback on KGs parsed from US Department of Justice (DOJ) Press Releases on human trafficking, and a following experiment where OpenAI’s GPT-4 is prompted to answer questions based on a modified and unmodified KG. Initial results suggest that GAME-KG can be an effective framework for enhancing KGs, while simultaneously providing an explainable set of structured facts verified by humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google