Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

要約

科学研究のパラダイムは、人工知能 (AI) の発展により大きな変革を迎えています。
最近の研究では、AI を利用したさまざまな研究方法により、データ分析の改善、計算の高速化、新しいアイデアの生成の促進により、研究効率が大幅に向上することが実証されています。
最終目標 (すなわち、自動科学研究) に向けてさらに前進するために、この論文では、人間の科学研究のプロセス全体をさらに構築するための初のクローズドループ・オープンエンド自動研究フレームワークである Dolphin を提案します。
Dolphin は研究のアイデアを生成し、実験を実行し、実験結果からフィードバックを得て、より質の高いアイデアを生み出すことができます。
より具体的には、Dolphin はまず、トピックとタスクの属性によってランク付けされた関連論文に基づいて新しいアイデアを生成します。
次に、例外トレースバック ガイド付きのローカル コード構造を使用してコードが自動的に生成され、デバッグされます。
最後に、Dolphin は各アイデアの結果を自動的に分析し、その結果を次のアイデア生成ラウンドにフィードバックします。
実験はさまざまなトピックのベンチマーク データセットで行われ、その結果、Dolphin が新しいアイデアを継続的に生成し、ループで実験を完了できることがわかりました。
Dolphin は、2D 画像分類や 3D 点分類などの一部のタスクにおいて、最先端技術に匹敵する手法を自動的に提案できることを強調します。

要約(オリジナル)

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google