Reviewer2: Optimizing Review Generation Through Prompt Generation

要約

LLM の最近の開発により、著者の作品の改善を支援する新たな機会が提供されています。
このペーパーでは、著者が現在のドラフトの弱点を明らかにする LLM によって生成されたレビューを受け取ることができるユースケースを想定しています。
自動レビュー生成の初期の方法はすでに存在しますが、これらの方法では詳細が欠如したレビューが生成される傾向があり、人間のレビュー担当者が生成する意見の範囲をカバーしていません。
この欠点に対処するために、Reviewer2 と呼ばれる効率的な 2 段階のレビュー生成フレームワークを提案します。
以前の研究とは異なり、このアプローチは、レビューで対処する可能性のある側面の分布を明示的にモデル化します。
これにより、人間の査読者が草案で特定したさまざまな側面をより適切にカバーする、より詳細なレビューが可能になることを示します。
研究の一環として、27,000 件の論文と 99,000 件のレビューからなる大規模なレビュー データセットを生成し、アスペクト プロンプトで注釈を付け、将来の研究のリソースとして利用できるようにします。

要約(オリジナル)

Recent developments in LLMs offer new opportunities for assisting authors in improving their work. In this paper, we envision a use case where authors can receive LLM-generated reviews that uncover weak points in the current draft. While initial methods for automated review generation already exist, these methods tend to produce reviews that lack detail, and they do not cover the range of opinions that human reviewers produce. To address this shortcoming, we propose an efficient two-stage review generation framework called Reviewer2. Unlike prior work, this approach explicitly models the distribution of possible aspects that the review may address. We show that this leads to more detailed reviews that better cover the range of aspects that human reviewers identify in the draft. As part of the research, we generate a large-scale review dataset of 27k papers and 99k reviews that we annotate with aspect prompts, which we make available as a resource for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google