EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification

要約

タイトル：EAML：文書画像分類のためのアンサンブル自己注意ベースの相互学習ネットワーク

要約：

– 複雑なディープニューラルネットワークは、文書画像分類や文書検索などのさまざまな文書理解タスクで大きな関心を集めています。
– 画像には固有の視覚的スタイルがあるため、深いCNNだけで視覚的特徴を学習して文書画像を分類することは、カテゴリ間の低い間クラス識別と高いカテゴリ内構造変化の問題が生じます。
– 同時に、与えられた文書画像内の対応する視覚特性と共にテキストレベルの理解を学習することは、精度の点で分類パフォーマンスを大幅に改善しました。
– 本論文では、アンサンブルトレーニング可能なネットワーク内のブロックとして機能する自己注意ベースの融合モジュールを設計しました。これにより、トレーニング段階全体で画像とテキストのモダリティの識別的特徴を同時に学習することができます。
– さらに、トレーニング段階中に画像とテキストのモダリティ間のポジティブな知識を転移することによって相互学習を促進します。
– この制約は、従来の教師あり設定に新しい正則化項である切り捨てられた-Kullback-Leibler分散損失Tr-KLD-Regを追加することで実現されます。
– 私たちの知る限り、これは自己注意ベースの融合モジュールと相互学習アプローチを併用して文書画像分類を実行する最初の試みです。
– 実験結果は、提案されたアンサンブル自己注意ベースの相互学習モデルが、シングルモーダルとマルチモーダルモダリティにおいて精度の点で従来法を上回ることを示しています。
– したがって、本論文で提案された手法は、ベンチマークのRVL-CDIPおよびTobacco-3482データセットに基づく分類結果を改善し、最先端の分類結果を示しています。

要約(オリジナル)

In the recent past, complex deep neural networks have received huge interest in various document understanding tasks such as document image classification and document retrieval. As many document types have a distinct visual style, learning only visual features with deep CNNs to classify document images have encountered the problem of low inter-class discrimination, and high intra-class structural variations between its categories. In parallel, text-level understanding jointly learned with the corresponding visual properties within a given document image has considerably improved the classification performance in terms of accuracy. In this paper, we design a self-attention-based fusion module that serves as a block in our ensemble trainable network. It allows to simultaneously learn the discriminant features of image and text modalities throughout the training stage. Besides, we encourage mutual learning by transferring the positive knowledge between image and text modalities during the training stage. This constraint is realized by adding a truncated-Kullback-Leibler divergence loss Tr-KLD-Reg as a new regularization term, to the conventional supervised setting. To the best of our knowledge, this is the first time to leverage a mutual learning approach along with a self-attention-based fusion module to perform document image classification. The experimental results illustrate the effectiveness of our approach in terms of accuracy for the single-modal and multi-modal modalities. Thus, the proposed ensemble self-attention-based mutual learning model outperforms the state-of-the-art classification results based on the benchmark RVL-CDIP and Tobacco-3482 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI