FigCaps-HF: A Figure-to-Caption Generative Framework and Benchmark with Human Feedback

要約

キャプションは、科学的な視覚化や文書を理解するために非常に重要です。
科学図の既存のキャプション手法は、トレーニングのために文書から抽出された図とキャプションのペアに依存していますが、その多くは有用性、説明可能性、視覚的説明性などの指標に関して不十分であり、生成されたキャプションが読者の好みとずれてしまいます。
高品質の図キャプションの生成を可能にするために、読者の好みに合わせて最適化されたキャプションを生成する際に分野専門家のフィードバックを組み込むことができる図キャプション生成用の新しいフレームワークである FigCaps-HF を導入します。
私たちのフレームワークは、1) 図とキャプションのペアの品質を評価するための自動手法、2) 読者の好みに合わせて図とキャプションの生成モデルを最適化するためのヒューマン フィードバックによる新しい強化学習 (RLHF) 手法で構成されます。
さまざまなタイプのモデルにわたる標準的な微調整よりもパフォーマンスを向上させることで、シンプルな学習フレームワークの有効性を実証します。
特に、BLIP をベース モデルとして使用する場合、RLHF フレームワークは、ROUGE、BLEU、Meteor でそれぞれ 35.7%、16.9%、9% の平均ゲインを達成します。
最後に、この問題に対する RLHF 手法のさらなる評価と開発を可能にするために、図とキャプションのペアに関する人間のフィードバックを備えた大規模なベンチマーク データセットをリリースします。

要約(オリジナル)

Captions are crucial for understanding scientific visualizations and documents. Existing captioning methods for scientific figures rely on figure-caption pairs extracted from documents for training, many of which fall short with respect to metrics like helpfulness, explainability, and visual-descriptiveness [15] leading to generated captions being misaligned with reader preferences. To enable the generation of high-quality figure captions, we introduce FigCaps-HF a new framework for figure-caption generation that can incorporate domain expert feedback in generating captions optimized for reader preferences. Our framework comprises of 1) an automatic method for evaluating quality of figure-caption pairs, 2) a novel reinforcement learning with human feedback (RLHF) method to optimize a generative figure-to-caption model for reader preferences. We demonstrate the effectiveness of our simple learning framework by improving performance over standard fine-tuning across different types of models. In particular, when using BLIP as the base model, our RLHF framework achieves a mean gain of 35.7%, 16.9%, and 9% in ROUGE, BLEU, and Meteor, respectively. Finally, we release a large-scale benchmark dataset with human feedback on figure-caption pairs to enable further evaluation and development of RLHF techniques for this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google