Towards End-User Development for IoT: A Case Study on Semantic Parsing of Cooking Recipes for Programming Kitchen Devices

要約

エンドユーザーがモノのインターネット (IoT) をプログラムできるようにする、ユーザーが作成した説明テキストのセマンティック解析は、未開発の領域です。
この研究では、調理レシピの指示を、キッチンの IoT デバイス向けの機械が理解できるコマンドに変換することをサポートすることを目的とした、独自の注釈付きコーパスを提供します。
これらの各コマンドは、「何を」、「どこで」、「なぜ」、「どのように」という観点からキッチン機器に関係する命令のセマンティクスをキャプチャしたタプルです。
このコーパスに基づいて、レシピ命令を解析し、そこから目的のタプルを抽出するために、機械学習ベースのシーケンス ラベリング手法、つまり条件付きランダム フィールド (CRF) とニューラル ネットワーク モデルを開発しました。
私たちの結果は、アノテーションに基づいて意味パーサーをトレーニングすることは可能ですが、ほとんどの自然言語命令は不完全であるため、それらを正式な意味表現に変換するのは簡単ではないことを示しています。

要約(オリジナル)

Semantic parsing of user-generated instructional text, in the way of enabling end-users to program the Internet of Things (IoT), is an underexplored area. In this study, we provide a unique annotated corpus which aims to support the transformation of cooking recipe instructions to machine-understandable commands for IoT devices in the kitchen. Each of these commands is a tuple capturing the semantics of an instruction involving a kitchen device in terms of ‘What’, ‘Where’, ‘Why’ and ‘How’. Based on this corpus, we developed machine learning-based sequence labelling methods, namely conditional random fields (CRF) and a neural network model, in order to parse recipe instructions and extract our tuples of interest from them. Our results show that while it is feasible to train semantic parsers based on our annotations, most natural-language instructions are incomplete, and thus transforming them into formal meaning representation, is not straightforward.

arxiv情報

著者 Filippos Ventirozos,Sarah Clinch,Riza Batista-Navarro
発行日 2023-09-25 14:21:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク