Dolphin: Moving Towards Closed-loop Auto-research through Thinking, Practice, and Feedback

要約

科学研究のパラダイムは、人工知能（AI）の発達により、深い変換を受けています。
最近の研究は、さまざまなAI支援研究方法が、データ分析を改善し、計算を加速し、新しいアイデア生成を促進することにより、研究効率を大幅に改善できることを示しています。
このホワイトペーパーでは、究極の目標（つまり、自動科学研究）にさらに進むために、科学研究の自動化レベルを強化するための閉ループLLM駆動型のフレームワークであるDolphinを紹介します。
Dolphinは、最初に、トピックとタスクの属性によってランク付けされた以前の実験と関連する論文からのフィードバックに基づいて、新しいアイデアを生成します。
次に、生成されたアイデアは、設計された例外クラドローカルコード構造で洗練され、デバッグされたコードテンプレートを使用して実装できます。
最後に、イルカは各アイデアの結果を自動的に分析し、結果を次のアイデア生成に戻します。
実験は、さまざまなトピックのベンチマークデータセットとMLEベンチのサブセットで行われます。
結果は、イルカがループ内の入力トピックのパフォーマンスを継続的に改善できることを示しています。
イルカは、3Dポイント分類などのいくつかのタスクの最先端に匹敵する方法を自動的に提案できることを強調しています。

要約(オリジナル)

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we introduce Dolphin, a closed-loop LLM-driven framework to enhance the automation level of scientific research. Dolphin first generates novel ideas based on feedback from previous experiments and relevant papers ranked by the topic and task attributes. Then, the generated ideas can be implemented using a code template refined and debugged with the designed exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and a subset of MLE-bench. Results show that Dolphin can continuously improve the performance of the input topic in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 3D point classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google