WangchanLion and WangchanX MRC Eval

要約

この技術レポートでは、タイ語の機械読解 (MRC) に焦点を当てた命令の微調整モデルである WangchanLion の開発について説明します。
私たちのモデルは SEA-LION とデータセットに従った命令のコレクションに基づいています。
オープンな研究と再現性を促進するために、私たちはすべてのトレーニング データ、コード、および最終モデルの重みを Apache-2 ライセンスに基づいて公開します。
文脈理解能力を評価するために、私たちは 2 つのタイの MRC データセット、XQuAD と Iapp_wiki_qa_squad を使用して広範な実験研究を実施しました。
実験結果は、コンテキストを理解し、0 ショットおよび 1 ショット設定で基準に忠実な回答を生成するモデルの能力を示しています。
さらに、当社の評価は従来のMRCを超えています。
回答の正確さ、有用性、簡潔さ、文脈性を評価する新しい評価スキームを提案します。
私たちのコードは https://github.com/vistec-AI/WangchanLion で公開されています。

要約(オリジナル)

This technical report describes the development of WangchanLion, an instruction fine-tuned model focusing on Machine Reading Comprehension (MRC) in the Thai language. Our model is based on SEA-LION and a collection of instruction following datasets. To promote open research and reproducibility, we publicly release all training data, code, and the final model weights under the Apache-2 license. To assess the contextual understanding capability, we conducted extensive experimental studies using two Thai MRC datasets, XQuAD and Iapp_wiki_qa_squad. Experimental results demonstrate the model’s ability to comprehend the context and produce an answer faithful to the reference one in 0-shot and 1-shot settings. In addition, our evaluation goes beyond the traditional MRC. We propose a new evaluation scheme assessing the answer’s correctness, helpfulness, conciseness, and contextuality. Our code is available publicly at https://github.com/vistec-AI/WangchanLion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google