MMoE: Robust Spoiler Detection with Multi-modal Information and Domain-aware Mixture-of-Experts

要約

オンラインの映画レビュー Web サイトは、映画に関する情報や議論に役立ちます。
ただし、大量のネタバレレビューは映画鑑賞体験を損なうため、ネタバレの検出が重要なタスクになります。
これまでの方法では、プラットフォーム内の情報の異種性を無視して、レビューのテキスト内容にのみ焦点を当てていました。
たとえば、レビューのメタデータと対応するユーザーの情報が役立つ場合があります。
さらに、映画レビューのネタバレ表現はジャンル固有である傾向があるため、既存の方法に対して領域の一般化の課題が生じています。
この目的を達成するために、我々は、複数のモダリティからの情報を利用して堅牢なスポイラー検出を促進し、専門家の混合を採用してドメインの一般化を強化するマルチモーダル ネットワークである MMoE を提案します。
MMoE はまず、ユーザー映画ネットワーク、レビューのテキスト コンテンツ、レビューのメタデータからグラフ、テキスト、メタ特徴をそれぞれ抽出します。
ジャンル固有のネタバレを処理するために、専門家混合アーキテクチャを採用して 3 つの方式で情報を処理し、堅牢性を高めます。
最後に、エキスパート融合レイヤーを使用して、さまざまな観点から機能を統合し、融合された埋め込みに基づいて予測を行います。
実験では、MMoE が 2 つの広く使用されているスポイラー検出データセットで最先端のパフォーマンスを達成し、精度と F1 スコアの点で以前の SOTA 手法を 2.56\% および 8.41\% 上回っていることが実証されています。
さらなる実験では、堅牢性と一般化における MMoE の優位性も実証されています。

要約(オリジナル)

Online movie review websites are valuable for information and discussion about movies. However, the massive spoiler reviews detract from the movie-watching experience, making spoiler detection an important task. Previous methods simply focus on reviews’ text content, ignoring the heterogeneity of information in the platform. For instance, the metadata and the corresponding user’s information of a review could be helpful. Besides, the spoiler language of movie reviews tends to be genre-specific, thus posing a domain generalization challenge for existing methods. To this end, we propose MMoE, a multi-modal network that utilizes information from multiple modalities to facilitate robust spoiler detection and adopts Mixture-of-Experts to enhance domain generalization. MMoE first extracts graph, text, and meta feature from the user-movie network, the review’s textual content, and the review’s metadata respectively. To handle genre-specific spoilers, we then adopt Mixture-of-Experts architecture to process information in three modalities to promote robustness. Finally, we use an expert fusion layer to integrate the features from different perspectives and make predictions based on the fused embedding. Experiments demonstrate that MMoE achieves state-of-the-art performance on two widely-used spoiler detection datasets, surpassing previous SOTA methods by 2.56\% and 8.41\% in terms of accuracy and F1-score. Further experiments also demonstrate MMoE’s superiority in robustness and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google