UIT-OpenViIC: A Novel Benchmark for Evaluating Image Captioning in Vietnamese

要約

タイトル: UIT-OpenViIC：ベトナム語で画像キャプションを評価するための新しいベンチマーク

要約:
– 画像キャプションは、2020年代でも世界中の研究コミュニティの関心を引き続けるビジョン言語タスクの1つです。
– MS-COCOキャプション・ベンチマークは、2015年に発表されましたが、高度なキャプションモデルのパフォーマンスを評価するために一般的に使用されています。
– 最近のMS-COCOキャプション・データセットでトレーニングされたキャプションモデルは、英語の言語パターンに対しては良好な性能を発揮しますが、ベトナムでキャプチャされたコンテキストやベトナム語を使用してスムーズに画像をキャプションする場合には、あまり良好な性能を発揮しません。
– ベトナムなどの低リソース研究コミュニティに貢献するために、我々はベトナム語のオープンドメイン画像キャプション・データセット（UIT-OpenViIC）を導入します。
– 導入されたデータセットには、ベトナムでキャプチャされた複雑なシーンが含まれ、ベトナム人によって厳密な規則と監督の下手動で注釈が付けられています。
– この論文では、データセット作成プロセスをより詳細に説明しています。
– 予備分析から、UIT-OpenViICは、MS COCOデータセットでよく機能する最新のTransformerベースラインにとって困難であることが示されています。
– さらに、控えめな結果は、UIT-OpenViICにはまだ成長の余地があることを証明し、ベトナム語での研究コミュニティにとっての標準ベンチマークの1つになる可能性があります。
– さらに、マルチレベルのエンコーダー出力フュージョンメカニズムによって効果的に画像表現能力を高めるCAMOアプローチを紹介し、以前のキャプションモデルと比較して生成されたキャプションの品質を向上させることができます。

要約(オリジナル)

Image Captioning is one of the vision-language tasks that still interest the research community worldwide in the 2020s. MS-COCO Caption benchmark is commonly used to evaluate the performance of advanced captioning models, although it was published in 2015. Recent captioning models trained on the MS-COCO Caption dataset only have good performance in language patterns of English; they do not have such good performance in contexts captured in Vietnam or fluently caption images using Vietnamese. To contribute to the low-resources research community as in Vietnam, we introduce a novel image captioning dataset in Vietnamese, the Open-domain Vietnamese Image Captioning dataset (UIT-OpenViIC). The introduced dataset includes complex scenes captured in Vietnam and manually annotated by Vietnamese under strict rules and supervision. In this paper, we present in more detail the dataset creation process. From preliminary analysis, we show that our dataset is challenging to recent state-of-the-art (SOTA) Transformer-based baselines, which performed well on the MS COCO dataset. Then, the modest results prove that UIT-OpenViIC has room to grow, which can be one of the standard benchmarks in Vietnamese for the research community to evaluate their captioning models. Furthermore, we present a CAMO approach that effectively enhances the image representation ability by a multi-level encoder output fusion mechanism, which helps improve the quality of generated captions compared to previous captioning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI