Prophet Attention: Predicting Attention with Future Attention for Image Captioning

要約

タイトル：イメージキャプショニングのための将来のアテンションでアテンションを予測するプロフェットアテンション

要約：
– 最近、アテンションベースのモデルがシーケンス・トゥ・シーケンス学習システムで多く使用されています。特に、イメージキャプショニングにおいては、アテンションベースのモデルが正しいイメージの領域と適切な生成された単語を接地することが期待されています。
– しかし、デコードプロセスの各タイムステップでは、アテンションベースのモデルは通常、現在の入力の隠れ状態を使用して、イメージ領域に出席するために使用されます。この設定の下では、これらのアテンションモデルには「偏った焦点」の問題があり、前の単語に基づいてアテンションウェイトを計算し、接地とキャプションの両方のパフォーマンスを低下させてしまいます。
– この論文では、プロフェットアテンションを提案しています。このモジュールは、セルフスーパーバイズの形式に類似しています。トレーニング段階では、このモジュールは将来の情報を利用して、画像領域に対する「理想的な」アテンションウェイトを計算します。これらの計算された「理想的な」ウェイトは、偏ったアテンションを正規化するためにさらに使用されます。このようにして、画像領域は正しい単語で接地されます。
– 提案されたプロフェットアテンションは、既存のイメージキャプショニングモデルに簡単に組み込むことができ、接地とキャプションの両方のパフォーマンスを改善します。Flickr30kエンティティとMSCOCOデータセットでの実験は、提案されたプロフェットアテンションが自動評価指標と人間の評価の両方でベースラインを常に上回ることを示しました。そして、MSCOCOのオンラインランキングスコア、すなわちCIDEr-c40において、私たちは新しいステート・オブ・ザ・アートを設定し、1位を獲得しました。

要約(オリジナル)

Recently, attention based models have been used extensively in many sequence-to-sequence learning systems. Especially for image captioning, the attention based models are expected to ground correct image regions with proper generated words. However, for each time step in the decoding process, the attention based models usually use the hidden state of the current input to attend to the image regions. Under this setting, these attention models have a ‘deviated focus’ problem that they calculate the attention weights based on previous words instead of the one to be generated, impairing the performance of both grounding and captioning. In this paper, we propose the Prophet Attention, similar to the form of self-supervision. In the training stage, this module utilizes the future information to calculate the ‘ideal’ attention weights towards image regions. These calculated ‘ideal’ weights are further used to regularize the ‘deviated’ attention. In this manner, image regions are grounded with the correct words. The proposed Prophet Attention can be easily incorporated into existing image captioning models to improve their performance of both grounding and captioning. The experiments on the Flickr30k Entities and the MSCOCO datasets show that the proposed Prophet Attention consistently outperforms baselines in both automatic metrics and human evaluations. It is worth noticing that we set new state-of-the-arts on the two benchmark datasets and achieve the 1st place on the leaderboard of the online MSCOCO benchmark in terms of the default ranking score, i.e., CIDEr-c40.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI