On the Rigour of Scientific Writing: Criteria, Analysis, and Insights

要約

厳密さは、結果と所見の再現性と妥当性を保証するため、科学研究にとって非常に重要です。
その重要性にもかかわらず、計算による厳密性のモデリングに関する研究はほとんど行われておらず、これらの基準が実際に科学論文の厳密性を効果的に示したり測定したりできるかどうかについての分析は不足しています。
この論文では、厳密さの基準を自動的に特定および定義し、科学論文におけるその関連性を評価するためのボトムアップのデータ駆動型フレームワークを紹介します。
私たちのフレームワークには、厳密性キーワードの抽出、詳細な厳密性定義の生成、および顕著な基準の特定が含まれています。
さらに、私たちのフレームワークはドメインに依存せず、さまざまな分野の科学的厳密性の評価に合わせて調整でき、分野全体にわたる明確な顕著な基準に対応できます。
私たちは、機械学習と NLP の 2 つの大きな影響力を持つ場 (ICLR と ACL) から収集したデータセットに基づいて包括的な実験を実施し、厳密なモデリングにおけるフレームワークの有効性を実証しました。
さらに、厳密さの言語パターンを分析し、枠組みの確実性が科学的厳密さの認識を高めるために重要である一方、暗示の確実性と確率の不確実性がそれを低下させることを明らかにしました。

要約(オリジナル)

Rigour is crucial for scientific research as it ensures the reproducibility and validity of results and findings. Despite its importance, little work exists on modelling rigour computationally, and there is a lack of analysis on whether these criteria can effectively signal or measure the rigour of scientific papers in practice. In this paper, we introduce a bottom-up, data-driven framework to automatically identify and define rigour criteria and assess their relevance in scientific writing. Our framework includes rigour keyword extraction, detailed rigour definition generation, and salient criteria identification. Furthermore, our framework is domain-agnostic and can be tailored to the evaluation of scientific rigour for different areas, accommodating the distinct salient criteria across fields. We conducted comprehensive experiments based on datasets collected from two high impact venues for Machine Learning and NLP (i.e., ICLR and ACL) to demonstrate the effectiveness of our framework in modelling rigour. In addition, we analyse linguistic patterns of rigour, revealing that framing certainty is crucial for enhancing the perception of scientific rigour, while suggestion certainty and probability uncertainty diminish it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google