Confidence-Aware Active Feedback for Interactive Instance Search

要約

オンライン関連性フィードバック(RF)は不完全なランキング結果をさらに洗練させるためにインスタンス探索(INS)タスクで広く利用されているが、しばしば相互作用効率が低いという問題がある。能動学習（AL）手法は、価値のあるフィードバック候補を選択することでこの問題に対処する。しかし、主流のAL手法はコールドスタートのために初期ラベル付き集合を必要とし、解くのに計算量が多く複雑であることが多い。そのため、対話型INSタスクにおけるオンラインRFの要件を十分に満たすことができない。この問題を解決するために、我々は、対話型INSタスクにおけるオンラインRFのために特別に設計された信頼度考慮アクティブフィードバック法(CAAF)を提案する。CAAFは、自己ペース学習における明示的な困難度モデリングスキームに触発され、各ラベル無しサンプルのランキング信頼度を評価するために、ペアワイズ多様体ランキングロスを利用する。ランキング信頼度は、価値あるフィードバック候補を示すことでインタラクション効率を向上させるだけでなく、多様体ランキングにおける拡散重みを調整することでランキング品質も向上させる。さらに、我々はCAAFの計算量を減らすために、近似最適化スキームとトップK探索スキームという二つの加速戦略を設計する。建物、風景、人物、人間の行動を検索する画像INSタスクとビデオINSタスクの両方に関する広範な実験により、提案手法の有効性を実証する。特に、NIST TRECVID 2021の実世界の大規模ビデオINSタスクにおいて、CAAFは25%少ないフィードバックサンプルで、チャンピオン解とほぼ同等の性能を達成する。さらに、同じ数のフィードバックサンプルを用いた場合、CAAFのmAPは51.9%となり、チャンピオンソリューションを5.9%大きく上回ります。

要約(オリジナル)

Online relevance feedback (RF) is widely utilized in instance search (INS) tasks to further refine imperfect ranking results, but it often has low interaction efficiency. The active learning (AL) technique addresses this problem by selecting valuable feedback candidates. However, mainstream AL methods require an initial labeled set for a cold start and are often computationally complex to solve. Therefore, they cannot fully satisfy the requirements for online RF in interactive INS tasks. To address this issue, we propose a confidence-aware active feedback method (CAAF) that is specifically designed for online RF in interactive INS tasks. Inspired by the explicit difficulty modeling scheme in self-paced learning, CAAF utilizes a pairwise manifold ranking loss to evaluate the ranking confidence of each unlabeled sample. The ranking confidence improves not only the interaction efficiency by indicating valuable feedback candidates but also the ranking quality by modulating the diffusion weights in manifold ranking. In addition, we design two acceleration strategies, an approximate optimization scheme and a top-K search scheme, to reduce the computational complexity of CAAF. Extensive experiments on both image INS tasks and video INS tasks searching for buildings, landscapes, persons, and human behaviors demonstrate the effectiveness of the proposed method. Notably, in the real-world, large-scale video INS task of NIST TRECVID 2021, CAAF uses 25% fewer feedback samples to achieve a performance that is nearly equivalent to the champion solution. Moreover, with the same number of feedback samples, CAAF’s mAP is 51.9%, significantly surpassing the champion solution by 5.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL