Dyport: Dynamic Importance-based Hypothesis Generation Benchmarking Technique

要約

この論文では、生物医学仮説生成システムを評価するための新しいベンチマーク フレームワーク Dyport を紹介します。
厳選されたデータセットを利用する当社のアプローチでは、現実的な条件下でこれらのシステムをテストし、評価の妥当性を高めます。
私たちは、発見の重要性を定量化する方法とともに、厳選されたデータベースからの知識を動的なグラフに統合します。
これにより、仮説の精度だけでなく、従来のリンク予測ベンチマークを大幅に拡張する生物医学研究における仮説の潜在的な影響も評価されます。
私たちのベンチマークプロセスの適用性は、生物医学のセマンティックナレッジグラフに適用されたいくつかのリンク予測システムで実証されています。
柔軟な当社のベンチマーク システムは、生物医学研究コミュニティ内での科学的発見の範囲を拡大することを目的として、仮説生成の品質検証に幅広く適用できるように設計されています。
可用性と実装: Dyport フレームワークは完全にオープンソースです。
すべてのコードとデータセットは、https://github.com/IlyaTyagin/Dyport から入手できます。

要約(オリジナル)

This paper presents a novel benchmarking framework Dyport for evaluating biomedical hypothesis generation systems. Utilizing curated datasets, our approach tests these systems under realistic conditions, enhancing the relevance of our evaluations. We integrate knowledge from the curated databases into a dynamic graph, accompanied by a method to quantify discovery importance. This not only assesses hypothesis accuracy but also their potential impact in biomedical research which significantly extends traditional link prediction benchmarks. Applicability of our benchmarking process is demonstrated on several link prediction systems applied on biomedical semantic knowledge graphs. Being flexible, our benchmarking system is designed for broad application in hypothesis generation quality verification, aiming to expand the scope of scientific discovery within the biomedical research community. Availability and implementation: Dyport framework is fully open-source. All code and datasets are available at: https://github.com/IlyaTyagin/Dyport

arxiv情報

提供元, 利用サービス

arxiv.jp, Google