Automated Focused Feedback Generation for Scientific Writing Assistance

要約

科学的執筆は、特に経験豊富な同僚からのフィードバックに依存することが多い初心者の研究者にとって、困難な作業です。
最近の取り組みは、原稿の内容ではなく、主に表面の形式とスタイルの改善に焦点を当てています。
この論文では、科学的執筆支援のための自動化された集中フィードバック生成という新しいタスクを提案します。
SWIF$^{2}$T: 科学的執筆に焦点を当てたフィードバック ツールを紹介します。
これは、科学論文の弱点を特定したり、論文の修正を提案したりする、具体的で実用的で一貫したコメントを生成するように設計されています。
私たちのアプローチは、プランナー、調査者、レビュー担当者、コントローラーの 4 つのコンポーネントで構成されており、複数の大規模言語モデル (LLM) を活用してそれらを実装します。
私たちは科学論文の弱点を引用した 300 件の査読のデータセットを編集し、人間による評価を実施します。
この結果は、SWIF$^{2}$T のフィードバックが他のアプローチと比較して、特異性、読解力、全体的な有用性において優れていることを示しています。
私たちの分析では、自動生成されたレビューが人間によるレビューよりも優れていると判断されたケースも特定し、AI によって生成されたフィードバックを科学論文に統合する機会が示唆されました。

要約(オリジナル)

Scientific writing is a challenging task, particularly for novice researchers who often rely on feedback from experienced peers. Recent work has primarily focused on improving surface form and style rather than manuscript content. In this paper, we propose a novel task: automated focused feedback generation for scientific writing assistance. We present SWIF$^{2}$T: a Scientific WrIting Focused Feedback Tool. It is designed to generate specific, actionable and coherent comments, which identify weaknesses in a scientific paper and/or propose revisions to it. Our approach consists of four components – planner, investigator, reviewer and controller – leveraging multiple Large Language Models (LLMs) to implement them. We compile a dataset of 300 peer reviews citing weaknesses in scientific papers and conduct human evaluation. The results demonstrate the superiority in specificity, reading comprehension, and overall helpfulness of SWIF$^{2}$T’s feedback compared to other approaches. In our analysis, we also identified cases where automatically generated reviews were judged better than human ones, suggesting opportunities for integration of AI-generated feedback in scientific writing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google