Annotating Scientific Uncertainty: A comprehensive model using linguistic patterns and comparison with existing approaches

要約

科学的な完全なテキストの科学的不確実性を検出するように設計されたシステムであるUnsciNtify。
このシステムは、弱く監視された手法を利用して、科学テキストとその著者の参照における口頭で表現された不確実性を特定します。
unscientifyのコア方法論は、スパンパターンマッチング、複雑な文分析、および著者の参照チェックを統合する多面的なパイプラインに基づいています。
このアプローチは、科学的不確実性を特定するために不可欠なラベル付けと注釈のプロセスを合理化し、情報の検索、テキスト採掘、科学文書処理などの多様なアプリケーションをサポートするために、さまざまな不確実性表現タイプをカバーします。
評価結果は、最新の大手言語モデル（LLMS）とUnsciNtifyシステム間のトレードオフを強調しています。
より伝統的な手法を採用しているUnsciNtifyは、科学的不確実性検出タスクで優れたパフォーマンスを達成し、0.808の精度スコアを達成しました。
この発見は、この特定のアプリケーションのUnscientifyの単純なルールベースとパターンマッチング戦略の継続的な関連性と効率を強調しています。
結果は、リソースの効率、解釈性、ドメイン固有の適応性が重要であるシナリオでは、従来の方法が依然として大きな利点を提供できることを示しています。

要約(オリジナル)

UnScientify, a system designed to detect scientific uncertainty in scholarly full text. The system utilizes a weakly supervised technique to identify verbally expressed uncertainty in scientific texts and their authorial references. The core methodology of UnScientify is based on a multi-faceted pipeline that integrates span pattern matching, complex sentence analysis and author reference checking. This approach streamlines the labeling and annotation processes essential for identifying scientific uncertainty, covering a variety of uncertainty expression types to support diverse applications including information retrieval, text mining and scientific document processing. The evaluation results highlight the trade-offs between modern large language models (LLMs) and the UnScientify system. UnScientify, which employs more traditional techniques, achieved superior performance in the scientific uncertainty detection task, attaining an accuracy score of 0.808. This finding underscores the continued relevance and efficiency of UnScientify’s simple rule-based and pattern matching strategy for this specific application. The results demonstrate that in scenarios where resource efficiency, interpretability, and domain-specific adaptability are critical, traditional methods can still offer significant advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google