Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning

要約

タイトル：マージナライズドカップルド辞書学習を用いたリアルタイム画像注釈づけへ向けて

要約：

– 画像検索システムにおいて、画像には「タグ」や「注釈」と呼ばれる高水準の意味が含まれている。
– 不均衡なラベル付けを扱う最新の画像注釈方法のほとんどは、時間のかかる検索ベースの技術であるため、リアルタイムでの画像注釈は困難である。
– 本論文では、カップルド辞書学習を用いた画像注釈手法が提案されており、限られた数の視覚的プロトタイプとそれに対応する意味を同時に学習することが可能である。
– 本手法は、リアルタイムでの画像注釈手法を実現する。
– また、本論文のもう一つの貢献は、不均衡なラベルを持つ画像注釈に対して適切でない2乗損失関数の代わりに、マージナライズド損失関数を用いることである。
– 本手法では、マージナライズド損失関数を用いたプロトタイプ更新の簡単かつ効果的な手法を活用している。
– 同時に、学習された意味的プロトタイプのラベルのスパースで不均衡な性質を維持するために、意味的プロトタイプに${\ell}_1$正則化を導入している。
– 最後に、さまざまなデータセットに対する包括的な実験結果により、提案手法の精度と時間の効率性を示している。
– 参考実装はhttps://github.com/hamid-amiri/MCDL-Image-Annotationで公開されている。

要約(オリジナル)

In most image retrieval systems, images include various high-level semantics, called tags or annotations. Virtually all the state-of-the-art image annotation methods that handle imbalanced labeling are search-based techniques which are time-consuming. In this paper, a novel coupled dictionary learning approach is proposed to learn a limited number of visual prototypes and their corresponding semantics simultaneously. This approach leads to a real-time image annotation procedure. Another contribution of this paper is that utilizes a marginalized loss function instead of the squared loss function that is inappropriate for image annotation with imbalanced labels. We have employed a marginalized loss function in our method to leverage a simple and effective method of prototype updating. Meanwhile, we have introduced ${\ell}_1$ regularization on semantic prototypes to preserve the sparse and imbalanced nature of labels in learned semantic prototypes. Finally, comprehensive experimental results on various datasets demonstrate the efficiency of the proposed method for image annotation tasks in terms of accuracy and time. The reference implementation is publicly available on https://github.com/hamid-amiri/MCDL-Image-Annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI