要約
研究プロセスのさまざまな段階を支援するために、AI 支援の学術アプリケーションが多数開発されています。
私たちは、文献を整理し、学術論文の関連著作セクションを構成するために設計されたツールである ScholaCite を使用して生成された、AI 支援による学術論文の分析を紹介します。
私たちの評価方法は、テキスト内の引用の構造の複雑さと相互接続性を評価するための引用グラフの分析に焦点を当てており、(1) 人間が書いたオリジナルのテキスト、(2) 純粋に GPT によって生成されたテキスト、および
(3) 人間とAIの協働テキスト。
GPT-4 は、人間のユーザーのブレインストーミングをサポートするために合理的な粗粒引用グループ化を生成できるが、人間の介入なしに関連作品の詳細な統合を実行できないことがわかりました。
私たちは、将来の執筆補助ツールを、人間の著者とは独立してテキストの下書きに使用すべきではないことを提案します。
要約(オリジナル)
Numerous AI-assisted scholarly applications have been developed to aid different stages of the research process. We present an analysis of AI-assisted scholarly writing generated with ScholaCite, a tool we built that is designed for organizing literature and composing Related Work sections for academic papers. Our evaluation method focuses on the analysis of citation graphs to assess the structural complexity and inter-connectedness of citations in texts and involves a three-way comparison between (1) original human-written texts, (2) purely GPT-generated texts, and (3) human-AI collaborative texts. We find that GPT-4 can generate reasonable coarse-grained citation groupings to support human users in brainstorming, but fails to perform detailed synthesis of related works without human intervention. We suggest that future writing assistant tools should not be used to draft text independently of the human author.
arxiv情報
| 著者 | Anna Martin-Boyle,Aahan Tyagi,Marti A. Hearst,Dongyeop Kang |
| 発行日 | 2024-02-19 16:14:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google