Horizon Scans can be accelerated using novel information retrieval and artificial intelligence tools

要約

はじめに：Herizon Scanning in Healthcareは、タイムリーな採用に不可欠なイノベーションの初期シグナルを評価します。
現在のHorizo​​nスキャンは、特にニュースのような構造化されていないソースから、効率的な情報検索と分析に課題に直面し、革新的なツールの必要性を提示します。
方法論：この研究では、地平線スキャンを改善するために設計されたスキャナーおよびAIDOCのオープンソースのPythonベースのツールを導入します。
スキャナーは、ニュース記事の検索と処理を自動化し、重複排除や監視なしの関連ランキングなどの機能を提供します。
関連性に基づいてテキストデータを並べ替え、セマンティックな類似性のためにニューラルネットワークを採用し、その後、ヒューマンレビューのための関連する可能性のあるエントリに優先順位を付けることにより、AIを活用することにより、AIDOC AIDS AIDSろ過を行います。
結果：Horizo​​nスキャンからの12の内部データセットと4つの外部ベンチマークデータセットが使用されました。
スキャナーは、以前に手動労働に依存していたプロセスを自動化することにより、検索効率を改善しました。
AIDOCは仕事を節約する可能性を示し、95％のリコールで手動のレビューの取り組みを約62％削減しました。
ベンチマークデータとの比較分析は、AIDOCのパフォーマンスが既存の系統的レビュー自動化ツールに類似していることを示しましたが、パフォーマンスはデータセットの特性によって異なります。
ニュースデータセットの小規模なケーススタディは、ニュースデータセット全体で関連する記事をより迅速に検出するためのアクティブラーニングプロセス内で大規模な言語モデルをアンサムする可能性を示しています。
結論：検証は、スキャナーとAIDOCがデータの検索と優先順位付けを合理化することにより、地平線スキャン効率を高める可能性を示していることを示しています。
これらのツールは、方法論的な制限を緩和し、より広く、迅速な地平線スキャンを可能にする可能性があります。
これらのモデルを最適化し、大規模な言語モデルを統合する新しいワークフローと検証プロセスを設計するために、さらなる研究が提案されています。

要約(オリジナル)

Introduction: Horizon scanning in healthcare assesses early signals of innovation, crucial for timely adoption. Current horizon scanning faces challenges in efficient information retrieval and analysis, especially from unstructured sources like news, presenting a need for innovative tools. Methodology: The study introduces SCANAR and AIDOC, open-source Python-based tools designed to improve horizon scanning. SCANAR automates the retrieval and processing of news articles, offering functionalities such as de-duplication and unsupervised relevancy ranking. AIDOC aids filtration by leveraging AI to reorder textual data based on relevancy, employing neural networks for semantic similarity, and subsequently prioritizing likely relevant entries for human review. Results: Twelve internal datasets from horizon scans and four external benchmarking datasets were used. SCANAR improved retrieval efficiency by automating processes previously dependent on manual labour. AIDOC displayed work-saving potential, achieving around 62% reduction in manual review efforts at 95% recall. Comparative analysis with benchmarking data showed AIDOC’s performance was similar to existing systematic review automation tools, though performance varied depending on dataset characteristics. A smaller case-study on our news datasets shows the potential of ensembling large language models within the active-learning process for faster detection of relevant articles across news datasets. Conclusion: The validation indicates that SCANAR and AIDOC show potential to enhance horizon scanning efficiency by streamlining data retrieval and prioritisation. These tools may alleviate methodological limitations and allow broader, swifter horizon scans. Further studies are suggested to optimize these models and to design new workflows and validation processes that integrate large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google