SciCapenter: Supporting Caption Composition for Scientific Figures with Machine-Generated Captions and Ratings

要約

図の効果的なキャプションを作成することが重要です。
読者は、この人物のメッセージを理解するためにこれらのキャプションに大きく依存しています。
しかし、図やキャプション用の一連の AI テクノロジーが十分に開発されているにもかかわらず、これらがキャプションの作成を支援する上での有用性についてテストされたことはほとんどありません。
本稿では、科学図のキャプションに最先端のAI技術を結集し、キャプション作成を支援する対話型システム「SciCapenter」を紹介します。
SciCapenter は、学術論文の図ごとにさまざまなキャプションを生成し、有用性、OCR への言及、重要なポイント、視覚的プロパティの参照など、複数の重要な側面にわたってキャプションの品質を評価するためのスコアと包括的なチェックリストを提供します。
ユーザーは、SciCapenter でキャプションを直接編集し、修正された評価のために再送信し、繰り返し調整することができます。
Ph.D. によるユーザー研究
学生らは、SciCapenter がキャプション作成の認知負荷を大幅に軽減することを示しています。
参加者のフィードバックは、キャプションの書き込みを強化することを目的とした将来のシステムのための貴重な設計上の洞察をさらに提供します。

要約(オリジナル)

Crafting effective captions for figures is important. Readers heavily depend on these captions to grasp the figure’s message. However, despite a well-developed set of AI technologies for figures and captions, these have rarely been tested for usefulness in aiding caption writing. This paper introduces SciCapenter, an interactive system that puts together cutting-edge AI technologies for scientific figure captions to aid caption composition. SciCapenter generates a variety of captions for each figure in a scholarly article, providing scores and a comprehensive checklist to assess caption quality across multiple critical aspects, such as helpfulness, OCR mention, key takeaways, and visual properties reference. Users can directly edit captions in SciCapenter, resubmit for revised evaluations, and iteratively refine them. A user study with Ph.D. students indicates that SciCapenter significantly lowers the cognitive load of caption writing. Participants’ feedback further offers valuable design insights for future systems aiming to enhance caption writing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google