A Late Fusion Framework with Multiple Optimization Methods for Media Interestingness

要約

マルチメディア分析、コンピュータービジョン（CV）、および人工知能（AI）アルゴリズムの最近の進歩により、ユーザーの関心のあるマルチメディアコンテンツの自動分析と取得を可能にするいくつかの興味深いツールが生まれました。
ただし、関心のあるコンテンツを取得するには、通常、感情や興味レベルなどのセマンティック機能の分析と抽出が必要です。
このような意味のある情報の抽出は複雑な作業であり、一般に、個々のアルゴリズムのパフォーマンスは非常に低くなります。
個々のアルゴリズムのパフォーマンスを向上させる1つの方法は、融合スキームを使用して複数のアルゴリズムの予測機能を組み合わせることです。
これにより、個々のアルゴリズムが相互に補完し合い、パフォーマンスが向上します。
この論文では、CLEF Fusion 2022で導入されたメディアインタレストスコア予測タスクのいくつかの融合方法を提案します。提案された方法には、すべてのインデューサーが同等に扱われるナイーブ融合スキームと、複数の重み最適化方法が採用されるメリットベースの融合スキームの両方が含まれます。
個々のインデューサーに重みを割り当てます。
合計で、粒子群最適化（PSO）、遺伝的アルゴリズム（GA）、ネルダーミード、信頼領域制約（TRC）、制限付きメモリのBroyden Fletcher Goldfarb Shannoアルゴリズム（LBFGSA）、および切り捨てられたニュートンを含む6つの最適化手法を使用しました。
アルゴリズム（TNA）。
PSOとTNAが10で平均平均精度0.109を達成すると、全体的に優れた結果が得られます。タスクは複雑で、一般的にスコアは低くなります。
提示された分析は、この分野での将来の研究のベースラインを提供すると信じています。

要約(オリジナル)

The recent advancement in Multimedia Analytical, Computer Vision (CV), and Artificial Intelligence (AI) algorithms resulted in several interesting tools allowing an automatic analysis and retrieval of multimedia content of users’ interests. However, retrieving the content of interest generally involves analysis and extraction of semantic features, such as emotions and interestingness-level. The extraction of such meaningful information is a complex task and generally, the performance of individual algorithms is very low. One way to enhance the performance of the individual algorithms is to combine the predictive capabilities of multiple algorithms using fusion schemes. This allows the individual algorithms to complement each other, leading to improved performance. This paper proposes several fusion methods for the media interestingness score prediction task introduced in CLEF Fusion 2022. The proposed methods include both a naive fusion scheme, where all the inducers are treated equally and a merit-based fusion scheme where multiple weight optimization methods are employed to assign weights to the individual inducers. In total, we used six optimization methods including a Particle Swarm Optimization (PSO), a Genetic Algorithm (GA), Nelder Mead, Trust Region Constrained (TRC), and Limited-memory Broyden Fletcher Goldfarb Shanno Algorithm (LBFGSA), and Truncated Newton Algorithm (TNA). Overall better results are obtained with PSO and TNA achieving 0.109 mean average precision at 10. The task is complex and generally, scores are low. We believe the presented analysis will provide a baseline for future research in the domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google