Improving Document Image Understanding with Reinforcement Finetuning

要約

成功した人工知能システムでは、多くの場合、文書画像から情報を抽出するために多数のラベル付きデータが必要になります。
この論文では、特にトレーニングデータが限られている場合に、文書画像を理解する際の人工知能システムのパフォーマンスを改善する問題を調査します。
強化学習を使用した新しい微調整方法を提案することで、この問題に対処します。
私たちのアプローチは、情報抽出モデルをポリシー ネットワークとして扱い、ポリシー勾配トレーニングを使用してモデルを更新し、従来のクロス エントロピー損失を補完する複合報酬関数を最大化します。
ラベルと専門家のフィードバックを使用した 4 つのデータセットでの実験では、微調整メカニズムにより、特に小規模なトレーニング データ体制で最先端の情報抽出器のパフォーマンスが一貫して向上することが示されました。

要約(オリジナル)

Successful Artificial Intelligence systems often require numerous labeled data to extract information from document images. In this paper, we investigate the problem of improving the performance of Artificial Intelligence systems in understanding document images, especially in cases where training data is limited. We address the problem by proposing a novel finetuning method using reinforcement learning. Our approach treats the Information Extraction model as a policy network and uses policy gradient training to update the model to maximize combined reward functions that complement the traditional cross-entropy losses. Our experiments on four datasets using labels and expert feedback demonstrate that our finetuning mechanism consistently improves the performance of a state-of-the-art information extractor, especially in the small training data regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google