Building Better: Avoiding Pitfalls in Developing Language Resources when Data is Scarce

要約

言語は、さまざまな形で人々の生活に影響を与える象徴的な資本です(Bourdieu、1977、1991)。
これは、アイデンティティ、文化、伝統、社会全般を説明する強力なツールです。
したがって、特定の言語のデータは、トークンのコレクション以上のものと見なす必要があります。
適切なデータ収集とラベル付けの実践は、より人間中心で社会を意識したテクノロジーを構築するための鍵となります。
NLP コミュニティ内では中低リソース言語への関心が高まっていますが、この分野での作業では、データ不足や適切なアノテーターへのアクセスなどの特有の課題を克服する必要があります。
このペーパーでは、中低リソース言語の NLP アーティファクトに直接関与し、その影響を受ける人々からのフィードバックを収集します。
私たちは回答の定量的および定性的分析を実施し、(1) 言語的および文化的データの適合性などのデータ品質に関連する主な問題を浮き彫りにします。
(2) オンライン コミュニティ サービスの悪用など、一般的なアノテーションの実践に関する倫理。
これらの調査結果に基づいて、私たちは、データ ワーカーの尊厳と労力を同時に尊重しながら、話者の文化的環境を反映する高品質の言語成果物を作成するためのいくつかの推奨事項を作成します。

要約(オリジナル)

Language is a symbolic capital that affects people’s lives in many ways (Bourdieu, 1977, 1991). It is a powerful tool that accounts for identities, cultures, traditions, and societies in general. Hence, data in a given language should be viewed as more than a collection of tokens. Good data collection and labeling practices are key to building more human-centered and socially aware technologies. While there has been a rising interest in mid- to low-resource languages within the NLP community, work in this space has to overcome unique challenges such as data scarcity and access to suitable annotators. In this paper, we collect feedback from those directly involved in and impacted by NLP artefacts for mid- to low-resource languages. We conduct a quantitative and qualitative analysis of the responses and highlight the main issues related to (1) data quality such as linguistic and cultural data suitability; and (2) the ethics of common annotation practices such as the misuse of online community services. Based on these findings, we make several recommendations for the creation of high-quality language artefacts that reflect the cultural milieu of its speakers, while simultaneously respecting the dignity and labor of data workers.

arxiv情報

著者 Nedjma Ousidhoum,Meriem Beloucif,Saif M. Mohammad
発行日 2024-10-17 13:32:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY | コメントする

Automatic Mapping of Anatomical Landmarks from Free-Text Using Large Language Models: Insights from Llama-2

要約

解剖学的ランドマークは、ナビゲーションや異常検出のための医療画像処理において不可欠です。
Llama-2 のような最新のラージ言語モデル (LLM) は、フリーテキストの放射線医学レポート内のこれらのランドマークを画像データ内の対応する位置にマッピングする自動化を約束します。
最近の研究では、LLM が生成プロセスの一貫した表現を開発する可能性があることが示唆されています。
これらの洞察に基づいて、LLM が解剖学的ランドマークの空間位置を正確に表すかどうかを調査しました。
Llama-2 モデルを用いた実験を通じて、Llama-2 モデルがさまざまなプロンプトに対してかなりのロバスト性で空間内の解剖学的ランドマークを線形に表現できることがわかりました。
これらの結果は、医療画像ワークフローの効率と精度を向上させる LLM の可能性を強調しています。

要約(オリジナル)

Anatomical landmarks are vital in medical imaging for navigation and anomaly detection. Modern large language models (LLMs), like Llama-2, offer promise for automating the mapping of these landmarks in free-text radiology reports to corresponding positions in image data. Recent studies propose LLMs may develop coherent representations of generative processes. Motivated by these insights, we investigated whether LLMs accurately represent the spatial positions of anatomical landmarks. Through experiments with Llama-2 models, we found that they can linearly represent anatomical landmarks in space with considerable robustness to different prompts. These results underscore the potential of LLMs to enhance the efficiency and accuracy of medical imaging workflows.

arxiv情報

著者 Mohamad Abdi,Gerardo Hermosillo Valadez,Halid Ziya Yerebakan
発行日 2024-10-17 12:52:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG | コメントする

A Data-driven Contact Estimation Method for Wheeled-Biped Robots

要約

接触推定は四肢ロボットにとって重要な機能であり、接触の有無が状態推定とバランス制御に直接影響します。
既存のアプローチは通常、ゲートサイクル事前分布または指定された接触センサーに依存しています。
我々は、これらの機能を持たない新しい車輪付き二足歩行ロボットタイプに適した接触推定器を設計します。
この目的を達成するために、更新ステップが実際のロボットのトルク測定から学習され、予測ステップが慣性測定に依存するベイズ フィルターを提案します。
私たちは、広範な実際のロボット実験とシミュレーション実験でこのアプローチを評価します。
私たちの方法は、同等の深層学習ベースラインよりもサンプル効率が大幅に高いと同時に、より優れたパフォーマンスを実現します。

要約(オリジナル)

Contact estimation is a key ability for limbed robots, where making and breaking contacts has a direct impact on state estimation and balance control. Existing approaches typically rely on gate-cycle priors or designated contact sensors. We design a contact estimator that is suitable for the emerging wheeled-biped robot types that do not have these features. To this end, we propose a Bayes filter in which update steps are learned from real-robot torque measurements while prediction steps rely on inertial measurements. We evaluate this approach in extensive real-robot and simulation experiments. Our method achieves better performance while being considerably more sample efficient than a comparable deep-learning baseline.

arxiv情報

著者 Ü. Bora Gökbakan,Frederike Dümbgen,Stéphane Caron
発行日 2024-10-17 08:36:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.PR | コメントする

From Measurement Instruments to Data: Leveraging Theory-Driven Synthetic Training Data for Classifying Social Constructs

要約

計算によるテキスト分類は、特に多次元の社会構造の場合、困難な作業です。
最近、合成トレーニング データが、これらの構成要素がテキスト内でどのように表現されるかの例を提供することで、分類を強化できる可能性があるという議論が増えています。
この論文では、社会構造の測定を改善するための理論主導の合成トレーニング データの可能性を系統的に検証します。
特に、調査尺度や注釈コードブックなどの社会科学の測定機器から確立された知識を、研究者が理論に基づいた合成データの生成にどのように移すことができるかを探ります。
性差別と政治的トピックの測定に関する 2 つの研究を使用して、テキスト分類モデルを微調整するための合成トレーニング データの付加価値を評価します。
性差別研究の結果はそれほど期待できるものではありませんでしたが、私たちの調査結果は、合成データが政治的トピック分類におけるラベル付きデータの必要性を減らすのに非常に効果的であることを示しています。
合成データは、パフォーマンスの低下を最小限に抑えながら、大量のラベル付きデータを置き換えることができます。
さらに、理論に基づいた合成データは、概念的な情報を考慮せずに生成されたデータよりも著しく優れたパフォーマンスを示しました。

要約(オリジナル)

Computational text classification is a challenging task, especially for multi-dimensional social constructs. Recently, there has been increasing discussion that synthetic training data could enhance classification by offering examples of how these constructs are represented in texts. In this paper, we systematically examine the potential of theory-driven synthetic training data for improving the measurement of social constructs. In particular, we explore how researchers can transfer established knowledge from measurement instruments in the social sciences, such as survey scales or annotation codebooks, into theory-driven generation of synthetic data. Using two studies on measuring sexism and political topics, we assess the added value of synthetic training data for fine-tuning text classification models. Although the results of the sexism study were less promising, our findings demonstrate that synthetic data can be highly effective in reducing the need for labeled data in political topic classification. With only a minimal drop in performance, synthetic data allows for substituting large amounts of labeled data. Furthermore, theory-driven synthetic data performed markedly better than data generated without conceptual information in mind.

arxiv情報

著者 Lukas Birkenmaier,Matthias Roth,Indira Sen
発行日 2024-10-17 08:28:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY | コメントする

Local transfer learning Gaussian process modeling, with applications to surrogate modeling of expensive computer simulators

要約

科学の進歩にとって重大なボトルネックとなっているのは、複雑なシステムのコンピューター シミュレーションにコストがかかるということです。
サロゲート モデルは魅力的なソリューションを提供します。このようなモデルはシミュレーターの評価でトレーニングされ、未調査の入力における高価なシミュレーター上の不確実性をエミュレートして定量化するために使用されます。
多くのアプリケーションでは、関連システム上に利用可能なデータがあることがよくあります。
たとえば、新しいジェット タービンを設計する場合、同様の構成のタービンに関する既存の研究が存在する可能性があります。
重要な問題は、対象となる「ターゲット」システム上で効果的な代理トレーニングを行うために、そのような「ソース」システムからの情報をどのように転送できるかということです。
したがって、我々は、慎重に設計されたガウスプロセスを活用して、サロゲートモデリングのためにそのような情報を転送する、新しいローカル転送学習ガウスプロセス(LOL-GP)モデルを提案します。
LOL-GP の主な新しさは、転送を実行する必要がある領域と転送を回避する必要がある領域を識別する潜在的な正則化モデルです。
この「ローカル転送」特性は科学システムでは望ましいものです。特定のパラメーターでは、そのようなシステムは同様に動作する可能性があるため、転送は有益です。
他のパラメータでは異なる動作をする可能性があるため、転送は有害です。
LOL-GP は、ローカル転送を考慮することで、情報の転送により予測パフォーマンスが悪化するという、既存の転送学習モデルにおける「負の転送」という重大な制限を修正できます。
マルチソース転送設定とマルチ忠実度転送設定の両方について、LOL-GP での効率的な事後予測サンプリングのためのギブズ サンプリング アルゴリズムを導出します。
次に、一連の数値実験とジェット タービン設計への応用を通じて、LOL-GP の代替性能が既存の方法よりも向上していることを示します。

要約(オリジナル)

A critical bottleneck for scientific progress is the costly nature of computer simulations for complex systems. Surrogate models provide an appealing solution: such models are trained on simulator evaluations, then used to emulate and quantify uncertainty on the expensive simulator at unexplored inputs. In many applications, one often has available data on related systems. For example, in designing a new jet turbine, there may be existing studies on turbines with similar configurations. A key question is how information from such ‘source’ systems can be transferred for effective surrogate training on the ‘target’ system of interest. We thus propose a new LOcal transfer Learning Gaussian Process (LOL-GP) model, which leverages a carefully-designed Gaussian process to transfer such information for surrogate modeling. The key novelty of the LOL-GP is a latent regularization model, which identifies regions where transfer should be performed and regions where it should be avoided. This ‘local transfer’ property is desirable in scientific systems: at certain parameters, such systems may behave similarly and thus transfer is beneficial; at other parameters, they may behave differently and thus transfer is detrimental. By accounting for local transfer, the LOL-GP can rectify a critical limitation of ‘negative transfer’ in existing transfer learning models, where the transfer of information worsens predictive performance. We derive a Gibbs sampling algorithm for efficient posterior predictive sampling on the LOL-GP, for both the multi-source and multi-fidelity transfer settings. We then show, via a suite of numerical experiments and an application for jet turbine design, the improved surrogate performance of the LOL-GP over existing methods.

arxiv情報

著者 Xinming Wang,Simon Mak,John Miller,Jianguo Wu
発行日 2024-10-17 01:53:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.ME, stat.ML | コメントする

CREAM: Consistency Regularized Self-Rewarding Language Models

要約

最近の自己報酬型大規模言語モデル (LLM) は、嗜好データに対する人による注釈を必要とせずに、LLM-as-a-Judge を適用して、調整パフォーマンスを反復的に向上させることに成功しました。
これらのメソッドは通常、同じ LLM を利用して、ポリシー モデル (応答を生成する) と報酬モデル (応答をスコア付けしてランク付けする) の両方として機能します。
ランク付けされた応答は、直接アライメント技術 (DPO など) を介して LLM をトレーニングするための優先ペアとして使用されます。
ただし、このプロセス全体を通じて、正確な報酬と高品質の嗜好データを確保するために重要である報酬とランキングの正確性が保証されていないことに注意してください。
比較的小さな LLM (例: 7B パラメータ) からの経験的結果は、特定の状況では自己報酬による改善が数回の反復後に減少する可能性があることも示しており、これは報酬システムに蓄積されたバイアスによるものであると我々は仮説を立てています。
この偏りにより、LLM をトレーニングするための選好データの信頼性が低くなる可能性があります。
この問題に対処するために、最初に、自己報酬型言語モデルのための一般化された反復的な好みの微調整フレームワークを定式化して分析します。
次に、この一般化されたフレームワークに正則化を導入して、自己報酬プロセスにおける自信過剰な好みのラベル付けを軽減します。
この理論的洞察に基づいて、異なる反復にわたる報酬の一貫性を利用して自己報酬トレーニングを正規化し、モデルがより信頼性の高い嗜好データから学習できるようにする一貫性正則化自己報酬言語モデル (CREAM) を提案します。
この明示的な正則化により、報酬の一貫性とアライメントのパフォーマンスの両方を向上させる点で CREAM の優位性が実証された結果です。
コードは https://github.com/Raibows/CREAM で公開されています。

要約(オリジナル)

Recent self-rewarding large language models (LLM) have successfully applied LLM-as-a-Judge to iteratively improve the alignment performance without the need of human annotations for preference data. These methods commonly utilize the same LLM to act as both the policy model (which generates responses) and the reward model (which scores and ranks those responses). The ranked responses are then used as preference pairs to train the LLM via direct alignment technologies (e.g. DPO). However, it is noteworthy that throughout this process, there is no guarantee of accuracy in the rewarding and ranking, which is critical for ensuring accurate rewards and high-quality preference data. Empirical results from relatively small LLMs (e.g., 7B parameters) also indicate that improvements from self-rewarding may diminish after several iterations in certain situations, which we hypothesize is due to accumulated bias in the reward system. This bias can lead to unreliable preference data for training the LLM. To address this issue, we first formulate and analyze the generalized iterative preference fine-tuning framework for self-rewarding language model. We then introduce the regularization to this generalized framework to mitigate the overconfident preference labeling in the self-rewarding process. Based on this theoretical insight, we propose a Consistency Regularized sElf-rewarding lAnguage Model (CREAM) that leverages the rewarding consistency across different iterations to regularize the self-rewarding training, helping the model to learn from more reliable preference data. With this explicit regularization, our empirical results demonstrate the superiority of CREAM in improving both reward consistency and alignment performance. The code is publicly available at https://github.com/Raibows/CREAM.

arxiv情報

著者 Zhaoyang Wang,Weilei He,Zhiyuan Liang,Xuchao Zhang,Chetan Bansal,Ying Wei,Weitong Zhang,Huaxiu Yao
発行日 2024-10-17 02:47:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | コメントする

Context Matters: Leveraging Contextual Features for Time Series Forecasting

要約

時系列予測は、対応する履歴に加えて、外因性のコンテキスト上の特徴の影響を受けることがよくあります。
たとえば、金融の現場では、ニュース記事やツイートなどの形での国民感情や政策決定を考慮せずに株価を正確に予測することは困難です。これは常識ですが、現在の最先端(
SOTA) 予測モデルは、その異質性と多峰性の性質により、そのようなコンテキスト情報を組み込むことができません。
これに対処するために、マルチモーダルなコンテキスト情報を既存の事前トレーニング済み予測モデルに外科的に統合する新しいプラグアンドプレイ手法である ContextFormer を導入します。
ContextFormer は、カテゴリ情報、連続情報、時変情報、さらにはテキスト情報など、豊富なマルチモーダル コンテキストから予測固有の情報を効果的に抽出し、既存の基本予測者のパフォーマンスを大幅に向上させます。
ContextFormer は、エネルギー、交通、環境、金融の領域にわたるさまざまな現実世界のデータセットにおいて、SOTA 予測モデルよりも最大 30% 優れたパフォーマンスを発揮します。

要約(オリジナル)

Time series forecasts are often influenced by exogenous contextual features in addition to their corresponding history. For example, in financial settings, it is hard to accurately predict a stock price without considering public sentiments and policy decisions in the form of news articles, tweets, etc. Though this is common knowledge, the current state-of-the-art (SOTA) forecasting models fail to incorporate such contextual information, owing to its heterogeneity and multimodal nature. To address this, we introduce ContextFormer, a novel plug-and-play method to surgically integrate multimodal contextual information into existing pre-trained forecasting models. ContextFormer effectively distills forecast-specific information from rich multimodal contexts, including categorical, continuous, time-varying, and even textual information, to significantly enhance the performance of existing base forecasters. ContextFormer outperforms SOTA forecasting models by up to 30% on a range of real-world datasets spanning energy, traffic, environmental, and financial domains.

arxiv情報

著者 Sameep Chattopadhyay,Pulkit Paliwal,Sai Shankar Narasimhan,Shubhankar Agarwal,Sandeep P. Chinchali
発行日 2024-10-17 04:46:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | コメントする

Nearly Tight Black-Box Auditing of Differentially Private Machine Learning

要約

このペーパーでは、以前の研究よりも大幅に厳密なブラックボックス脅威モデルにおける差分プライベート確率勾配降下 (DP-SGD) アルゴリズムの監査手順を示します。
DP-SGD のプライバシー分析は初期モデル パラメーターの選択に依存しないため、主な直感は最悪の場合の初期モデル パラメーターを作成することです。
MNIST と CIFAR-10 で理論的な $\varepsilon=10.0$ でトレーニングされたモデルの場合、監査手順により、1,000 レコードのサンプルと $\varepsilon_ でそれぞれ $\varepsilon_{emp} = 7.21$ と $6.95$ の経験的推定値が得られます。
{emp}= 完全なデータセットでは 6.48$ と $4.96$。
対照的に、以前の監査は、攻撃者がモデルの内部パラメータにアクセスして任意の勾配を挿入できる、より強力なホワイトボックス モデルでのみ(比較的)厳密でした。
全体として、当社の監査手順は、DP-SGD のプライバシー分析をどのように改善し、実際の実装におけるバグや DP 違反を検出できるかについて貴重な洞察を提供します。
実験を再現するために必要なソース コードは、https://github.com/spalabucr/bb-audit-dpsgd で入手できます。

要約(オリジナル)

This paper presents an auditing procedure for the Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm in the black-box threat model that is substantially tighter than prior work. The main intuition is to craft worst-case initial model parameters, as DP-SGD’s privacy analysis is agnostic to the choice of the initial model parameters. For models trained on MNIST and CIFAR-10 at theoretical $\varepsilon=10.0$, our auditing procedure yields empirical estimates of $\varepsilon_{emp} = 7.21$ and $6.95$, respectively, on a 1,000-record sample and $\varepsilon_{emp}= 6.48$ and $4.96$ on the full datasets. By contrast, previous audits were only (relatively) tight in stronger white-box models, where the adversary can access the model’s inner parameters and insert arbitrary gradients. Overall, our auditing procedure can offer valuable insight into how the privacy analysis of DP-SGD could be improved and detect bugs and DP violations in real-world implementations. The source code needed to reproduce our experiments is available at https://github.com/spalabucr/bb-audit-dpsgd.

arxiv情報

著者 Meenatchi Sundaram Muthu Selva Annamalai,Emiliano De Cristofaro
発行日 2024-10-17 01:15:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | コメントする

FlowBotHD: History-Aware Diffuser Handling Ambiguities in Articulated Objects Manipulation

要約

我々は、左右対称のドアや大きく遮られたドアなど、視覚的に曖昧な多関節オブジェクトを操作するための新しいアプローチを紹介します。
これらの曖昧さは、考えられるさまざまな関節動作モードに対して不確実性を引き起こす可能性があります。たとえば、完全に閉じたドアの関節方向 (例: 押す、引く、スライド) や位置 (例: 左側、右側) が不確実な場合、またはドアのような機能を区別する場合などです。
ドアの平面は視野角により遮られます。
これらの課題に取り組むために、我々は、関節オブジェクトの関節モードにわたるマルチモーダル分布をモデル化できる、歴史を意識した拡散ネットワークを提案します。
私たちの方法はさらに観測履歴を使用してモードを区別し、オクルージョン下で安定した予測を行います。
実験と分析は、私たちの方法が多関節オブジェクトの操作で最先端のパフォーマンスを達成し、視覚的な曖昧さを含む多関節オブジェクトのパフォーマンスを劇的に向上させることを示しています。
私たちのプロジェクトの Web サイトは https://flowbothd.github.io/ から入手できます。

要約(オリジナル)

We introduce a novel approach for manipulating articulated objects which are visually ambiguous, such doors which are symmetric or which are heavily occluded. These ambiguities can cause uncertainty over different possible articulation modes: for instance, when the articulation direction (e.g. push, pull, slide) or location (e.g. left side, right side) of a fully closed door are uncertain, or when distinguishing features like the plane of the door are occluded due to the viewing angle. To tackle these challenges, we propose a history-aware diffusion network that can model multi-modal distributions over articulation modes for articulated objects; our method further uses observation history to distinguish between modes and make stable predictions under occlusions. Experiments and analysis demonstrate that our method achieves state-of-art performance on articulated object manipulation and dramatically improves performance for articulated objects containing visual ambiguities. Our project website is available at https://flowbothd.github.io/.

arxiv情報

著者 Yishu Li,Wen Hui Leng,Yiming Fang,Ben Eisner,David Held
発行日 2024-10-15 22:37:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする

A Novel Twisted-Winching String Actuator for Robotic Applications: Design and Validation

要約

本稿では、ツイストストリングアクチュエータ(TSA)とウインチ機構を組み合わせた新しいアクチュエータシステムを紹介します。
ロボット工学における従来の油圧および空気圧システムと比較して、TSA はコンパクトで軽量ですが、ストローク長と力伝達率に制限があります。
当社の統合 TSA ウインチ システムは、動的調整を通じて可変変速比を提供することで、これらの制約を克服します。
過度にひねる代わりにウィンチすることでアクチュエータのストロークを増加させ、ひねることによって力の出力を向上させます。
この設計は、貫通穴ドライブ シャフトによって駆動されるベベル ギア アセンブリに取り付けられたウインチを収容する回転タレットを特徴としています。
このシステムの変位制御と速度制御を組み合わせた数学モデルが開発されています。
実験による検証により、幅広い伝達比と正確な動作制御を実現するアクチュエータの能力が実証されています。
動作の精度と生成される力に関するパフォーマンス データを提示し、既存の文献の文脈で結果を議論します。
この研究は、高度なロボット用途と改良された自動化ソリューションのための、より多用途かつ効率的な作動システムの開発に貢献します。

要約(オリジナル)

This paper presents a novel actuator system combining a twisted string actuator (TSA) with a winch mechanism. Relative to traditional hydraulic and pneumatic systems in robotics, TSAs are compact and lightweight but face limitations in stroke length and force-transmission ratios. Our integrated TSA-winch system overcomes these constraints by providing variable transmission ratios through dynamic adjustment. It increases actuator stroke by winching instead of overtwisting, and it improves force output by twisting. The design features a rotating turret that houses a winch, which is mounted on a bevel gear assembly driven by a through-hole drive shaft. Mathematical models are developed for the combined displacement and velocity control of this system. Experimental validation demonstrates the actuator’s ability to achieve a wide range of transmission ratios and precise movement control. We present performance data on movement precision and generated forces, discussing the results in the context of existing literature. This research contributes to the development of more versatile and efficient actuation systems for advanced robotic applications and improved automation solutions.

arxiv情報

著者 Ryan Poon,Vineet Padia,Ian W. Hunter
発行日 2024-10-15 22:44:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | コメントする