要約
NLP および機械学習 (ML) の現場からの 30,000 以上の要約とタイトルのペアで微調整された 7 つの最近のトランスフォーマー ベースのモデル (ChatGPT を含む) を調査して、エンドツーエンドの要約からタイトルへの生成問題を検討します。
その延長として、ユーモアのある論文タイトルを生成するというより難しい問題も検討します。
後者については、約 2.6,000 のタイトルからなる、NLP/ML ドメインの科学論文用に、初めての大規模なユーモア注釈付きデータセットをコンパイルしました。
私たちはすべてのモデルを人的および自動のメトリクスを使用して評価します。
私たちの人間による評価では、私たちの最高のエンドツーエンド システムは人間の作成者と同様に動作する (ただし、おそらくわずかに劣る) ことが示唆されています。
ただし、面白いタイトルを生成するのはさらに難しく、私たちの自動システムは人間に比べて明らかにパフォーマンスが劣っており、データセットのユーモアの成果物を学習することがよくあります。
最後に、ChatGPT は微調整を行わなくても、最適な微調整システムのレベルで動作します。
要約(オリジナル)
We consider the end-to-end abstract-to-title generation problem, exploring seven recent transformer based models (including ChatGPT) fine-tuned on more than 30k abstract-title pairs from NLP and machine learning (ML) venues. As an extension, we also consider the harder problem of generating humorous paper titles. For the latter, we compile the first large-scale humor annotated dataset for scientific papers in the NLP/ML domains, comprising almost ~2.6k titles. We evaluate all models using human and automatic metrics. Our human evaluation suggests that our best end-to-end system performs similarly to human authors (but arguably slightly worse). Generating funny titles is more difficult, however, and our automatic systems clearly underperform relative to humans and often learn dataset artefacts of humor. Finally, ChatGPT, without any fine-tuning, performs on the level of our best fine-tuned system.
arxiv情報
| 著者 | Yanran Chen,Steffen Eger |
| 発行日 | 2023-12-26 18:05:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google