UIT-OpenViIC: A Novel Benchmark for Evaluating Image Captioning in Vietnamese

要約

タイトル： UIT-OpenViIC：ベトナム語のイメージキャプション評価の新しいベンチマーク
要約：

– 画像キャプションは、2020年代においても、世界中の研究コミュニティにとって依然として興味深いビジョン・ランゲージ・タスクのひとつである。
– MS-COCOキャプションベンチマークは、2015年に公開されたものであり、高度なキャプションモデルの性能を評価するために一般的に使用されている。
– ただし、MS-COCOキャプションデータセットで訓練された最近のキャプションモデルは、英語の言語パターンに対しては良好な性能を示すが、ベトナムで捉えられた文脈やベトナム語を使用して自然に画像にキャプションをつける能力には乏しい。
– このような低資源の研究コミュニティに貢献するために、ベトナム語のオープンドメインイメージキャプションデータセット (UIT-OpenViIC) を導入する。
– このデータセットには、ベトナムで捉えられた複雑なシーンが含まれ、厳密なルールと監視の下でベトナムの人々によって手動で注釈付けされている。
– この論文では、データセット作成プロセスについて詳しく説明する。
– 予備的な分析から、UIT-OpenViICがMS-COCOデータセットでうまく機能する最新のTransformyerベースラインにとっても厳しいことが示され、まだ成長の余地があることがわかった。
– UIT-OpenViICは、研究コミュニティにとって、キャプションモデルを評価するための標準ベンチマークのひとつになる可能性がある。
– さらに、CAMOアプローチを紹介し、マルチレベルエンコーダ出力融合メカニズムによって画像表現能力を効果的に強化し、以前のキャプションモデルと比較して生成されたキャプションの品質を向上させることが示された。

要約(オリジナル)

Image Captioning is one of the vision-language tasks that still interest the research community worldwide in the 2020s. MS-COCO Caption benchmark is commonly used to evaluate the performance of advanced captioning models, although it was published in 2015. Recent captioning models trained on the MS-COCO Caption dataset only have good performance in language patterns of English; they do not have such good performance in contexts captured in Vietnam or fluently caption images using Vietnamese. To contribute to the low-resources research community as in Vietnam, we introduce a novel image captioning dataset in Vietnamese, the Open-domain Vietnamese Image Captioning dataset (UIT-OpenViIC). The introduced dataset includes complex scenes captured in Vietnam and manually annotated by Vietnamese under strict rules and supervision. In this paper, we present in more detail the dataset creation process. From preliminary analysis, we show that our dataset is challenging to recent state-of-the-art (SOTA) Transformer-based baselines, which performed well on the MS COCO dataset. Then, the modest results prove that UIT-OpenViIC has room to grow, which can be one of the standard benchmarks in Vietnamese for the research community to evaluate their captioning models. Furthermore, we present a CAMO approach that effectively enhances the image representation ability by a multi-level encoder output fusion mechanism, which helps improve the quality of generated captions compared to previous captioning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI