CycleResearcher: Improving Automated Research via Automated Review

要約

科学的発見の自動化は、知識の創造を加速する可能性によって推進される研究コミュニティ内で長年の目標となっています。
コマーシャルラージランゲージモデル（LLMS）を研究助手またはアイデアジェネレーターとして使用して大幅な進歩がなされていますが、オープンソースLLMで研究プロセス全体を自動化する可能性はほとんど未開拓のままです。
このペーパーでは、文献レビューや原稿の準備からピアレビューや紙の改良まで、自動化された研究とレビューの全サイクルを実行できる自律エージェントとして、オープンソース後の訓練を受けたLLMを使用する可能性を探ります。
反復的な優先トレーニングフレームワークは、研究タスクを実施するサイクラー検索者と、ピアレビュープロセスをシミュレートし、強化学習を通じて反復フィードバックを提供するCyclereViewerで構成されています。
これらのモデルをトレーニングするために、実際の機械学習研究とピアレビューのダイナミクスを反映して、2つの新しいデータセット、Review-5KとResearch-14Kを開発します。
我々の結果は、サイクレルビューワーが紙のスコアを予測する際に個々の人間のレビュアーと比較して、平均絶対誤差（MAE）の26.89％\％減少で有望なパフォーマンスを達成し、LLMが専門家レベルの研究評価を効果的に支援する可能性を示していることを示しています。
研究では、Cycleresearcherモデルによって生成された論文は、シミュレートされたピアレビューで5.36のスコアを達成し、人間の専門家からの5.24の前リントレベルと比較してシミュレートされたレビュースコアに関してある程度の競争力を示し、認められた書類レベルの5.69と比較して改善の余地があります。
この研究は、完全に自動化された科学的調査に向けた重要なステップを表しており、倫理的保護手段を提供し、AI主導の研究能力を調査します。
コード、データセット、モデルの重量は、https：//wengsyx.github.io/researcher/でリリースされます。

要約(オリジナル)

The automation of scientific discovery has been a long-standing goal within the research community, driven by the potential to accelerate knowledge creation. While significant progress has been made using commercial large language models (LLMs) as research assistants or idea generators, the possibility of automating the entire research process with open-source LLMs remains largely unexplored. This paper explores the feasibility of using open-source post-trained LLMs as autonomous agents capable of performing the full cycle of automated research and review, from literature review and manuscript preparation to peer review and paper refinement. Our iterative preference training framework consists of CycleResearcher, which conducts research tasks, and CycleReviewer, which simulates the peer review process, providing iterative feedback via reinforcement learning. To train these models, we develop two new datasets, Review-5k and Research-14k, reflecting real-world machine learning research and peer review dynamics. Our results demonstrate that CycleReviewer achieves promising performance with a 26.89\% reduction in mean absolute error (MAE) compared to individual human reviewers in predicting paper scores, indicating the potential of LLMs to effectively assist expert-level research evaluation. In research, the papers generated by the CycleResearcher model achieved a score of 5.36 in simulated peer reviews, showing some competitiveness in terms of simulated review scores compared to the preprint level of 5.24 from human experts, while still having room for improvement compared to the accepted paper level of 5.69. This work represents a significant step toward fully automated scientific inquiry, providing ethical safeguards and exploring AI-driven research capabilities. The code, dataset and model weight are released at https://wengsyx.github.io/Researcher/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google