Natural Scene Image Annotation Using Local Semantic Concepts and Spatial Bag of Visual Words

要約

関心点の位置で計算された局所不変特徴に基づいて画像をモデル化するためのバッグ オブ ビジュアル ワード (BOW) モデルの使用は、多くのコンピューター ビジョン タスクの標準的な選択肢になりました。
画像特徴ベクトルから生成された視覚語彙は、画像注釈システムのパフォーマンスを向上させる識別力のある視覚的な単語を生成することが期待されています。
画像に注釈を付ける際に BOW モデルを採用するほとんどの手法は、識別可能な視覚語彙を構築するために画像カテゴリからマイニングできる有利な情報を拒否しました。
この目的のために、このホワイト ペーパーでは、事前定義された語彙からのローカル セマンティック ラベルを使用して自然シーンの画像に自動的に注釈を付けるための詳細なフレームワークを紹介します。
フレームワークは、自然シーンでは、中間の意味概念がローカル キーポイントと相関していると仮定する仮説に基づいています。
この仮説に基づいて、画像領域を BOW モデルで効率的に表現し、SVM などの機械学習アプローチを使用して画像領域にセマンティック アノテーションを付けることができます。
このホワイト ペーパーのもう 1 つの目的は、イメージ全体からビジュアル ボキャブラリを生成するのではなく、イメージの半分からビジュアル ボキャブラリを生成することの意味に対処することです。
すべての BOW ベースのアプローチとベースライン メソッドは、SVM と KNN 分類子を使用して、自然シーンの 6 カテゴリのデータセットで広く評価されています。
報告された結果は、BOW モデルを使用して画像領域のセマンティック情報を表現し、画像領域に自動的にラベルを付けることの妥当性を示しています。

要約(オリジナル)

The use of bag of visual words (BOW) model for modelling images based on local invariant features computed at interest point locations has become a standard choice for many computer vision tasks. Visual vocabularies generated from image feature vectors are expected to produce visual words that are discriminative to improve the performance of image annotation systems. Most techniques that adopt the BOW model in annotating images declined favorable information that can be mined from image categories to build discriminative visual vocabularies. To this end, this paper introduces a detailed framework for automatically annotating natural scene images with local semantic labels from a predefined vocabulary. The framework is based on a hypothesis that assumes that, in natural scenes, intermediate semantic concepts are correlated with the local keypoints. Based on this hypothesis, image regions can be efficiently represented by BOW model and using a machine learning approach, such as SVM, to label image regions with semantic annotations. Another objective of this paper is to address the implications of generating visual vocabularies from image halves, instead of producing them from the whole image, on the performance of annotating image regions with semantic labels. All BOW-based approaches as well as baseline methods have been extensively evaluated on 6-categories dataset of natural scenes using the SVM and KNN classifiers. The reported results have shown the plausibility of using the BOW model to represent the semantic information of image regions and thus to automatically annotate image regions with labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google