Toloka Visual Question Answering Benchmark

要約

このペーパーでは、基礎的な視覚的質問応答タスクにおける機械学習システムのパフォーマンスと人間の専門知識レベルを比較できる新しいクラウドソース データセットである Toloka Visual Question Answering を紹介します。
このタスクでは、画像とテキストの質問が与えられ、その質問に正しく応答してオブジェクトの周囲に境界ボックスを描画する必要があります。
すべての画像と質問のペアには回答が含まれており、画像ごとに正解は 1 つだけです。
私たちのデータセットには、グラウンド トゥルース境界ボックスを備えた 45,199 組の画像と英語の質問が含まれており、トレイン サブセットと 2 つのテスト サブセットに分割されています。
データセットを説明し、CC BY ライセンスに基づいてリリースすることに加えて、オープンソースのゼロショット ベースライン モデルで一連の実験を実施し、世界中から 48 人の参加者を集めた WSDM カップでマルチフェーズ コンテストを開催しました。
ただし、論文投稿の時点では、和集合評価スコアの交差によると、非専門家によるクラウドソーシングのベースラインを上回る機械学習モデルはありませんでした。

要約(オリジナル)

In this paper, we present Toloka Visual Question Answering, a new crowdsourced dataset allowing comparing performance of machine learning systems against human level of expertise in the grounding visual question answering task. In this task, given an image and a textual question, one has to draw the bounding box around the object correctly responding to that question. Every image-question pair contains the response, with only one correct response per image. Our dataset contains 45,199 pairs of images and questions in English, provided with ground truth bounding boxes, split into train and two test subsets. Besides describing the dataset and releasing it under a CC BY license, we conducted a series of experiments on open source zero-shot baseline models and organized a multi-phase competition at WSDM Cup that attracted 48 participants worldwide. However, by the time of paper submission, no machine learning model outperformed the non-expert crowdsourcing baseline according to the intersection over union evaluation score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google