Natural language to SQL in low-code platforms

要約

ローコード プラットフォームにおける開発者の最大の課題の 1 つは、SQL クエリを使用してデータベースからデータを取得することです。
ここでは、開発者が自然言語 (NL) を記述してデータを取得できるようにするパイプラインを提案します。
この調査では、OutSystems ユーザーが最も頻繁に実行する SQL クエリをカバーするデータを収集、ラベル付け、検証します。
そのデータを使用して、SQL を生成する NL モデルをトレーニングします。
これに加えて、実稼働データを迅速に収集し、それを使用して SQL 生成モデルを再トレーニングできるようにするフィードバック ループで構成されるパイプライン全体について説明します。
クラウド ソーシングを使用して、26,000 の NL と SQL のペアを収集し、本番データから追加の 1,000 のペアを取得します。
最後に、開発者がプロ​​ンプトに NL クエリを入力し、結果として得られる SQL クエリのわかりやすい表現を受け取ることができる UI を開発します。
A/B テストを使用して実稼働環境の 4 つの異なるモデルを比較したところ、最初のモデルと比較した場合、機能の導入に関しては 240% の改善、エンゲージメント率に関しては 220%、故障率は 90% 減少したことがわかりました。
私たちは運用を開始し、機能を継続的に改善するパイプラインの有効性を実証しました。

要約(オリジナル)

One of the developers’ biggest challenges in low-code platforms is retrieving data from a database using SQL queries. Here, we propose a pipeline allowing developers to write natural language (NL) to retrieve data. In this study, we collect, label, and validate data covering the SQL queries most often performed by OutSystems users. We use that data to train a NL model that generates SQL. Alongside this, we describe the entire pipeline, which comprises a feedback loop that allows us to quickly collect production data and use it to retrain our SQL generation model. Using crowd-sourcing, we collect 26k NL and SQL pairs and obtain an additional 1k pairs from production data. Finally, we develop a UI that allows developers to input a NL query in a prompt and receive a user-friendly representation of the resulting SQL query. We use A/B testing to compare four different models in production and observe a 240% improvement in terms of adoption of the feature, 220% in terms of engagement rate, and a 90% decrease in failure rate when compared against the first model that we put into production, showcasing the effectiveness of our pipeline in continuously improving our feature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google