San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it’s variants

要約

【タイトル】サンスクリット文書のBERTとそのバリアントを用いた抽出型要約技術(San-BERT)

【要約】
– サンスクリット向けのBERTとそのバリアントであるALBERT, RoBERTaを開発した
– デーヴァナーガリー文字のサンスクリットテキストコーパスを使用し、これらモデルからテキストの特徴を抽出
– 抽出された特徴に対して次元削減・クラスタリング技術を応用して、サンスクリット文書の抽出型要約を生成した
– また、抽出型テキスト要約技術のために、サンスクリットのデーヴァナーガリー文字テキストコーパスを公開した

要約(オリジナル)

In this work, we develop language models for the Sanskrit language, namely Bidirectional Encoder Representations from Transformers (BERT) and its variants: A Lite BERT (ALBERT), and Robustly Optimized BERT (RoBERTa) using Devanagari Sanskrit text corpus. Then we extracted the features for the given text from these models. We applied the dimensional reduction and clustering techniques on the features to generate an extractive summary for a given Sanskrit document. Along with the extractive text summarization techniques, we have also created and released a Sanskrit Devanagari text corpus publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI