works

機械学習とデジタルペンを使用した学習支援システムを展示

この学習支援システムは、デジタルペンの筆跡と筆圧、そして眼球運動や瞳孔径といった生体情報から、ユーザーの個人特性・迷い・集中度合いを推定し、適切なヒントを出します。エスディーテックは、Connected Ink 2018 展向けに、「迷路を解くこと」を題材にした学習支援システムの企画、UIデザイン、機械学習モデルおよびアプリケーションの開発を行いました。

「Connected Ink」とは、ワコムがDSCとともに、2016年より開催するデジタルインクやデジタル文具の発展・拡大を促すために行われているイベントです。

 

この機械学習モデルは、事前に収集した実験データに基いて迷路の解き方からユーザー特性を推定し、分類します。
そして、状況に応じて 82種類の声かけと7種類のビジュアルエフェクトの中から、その人に適切なヒントを出します。

 

例えば、「せっかちな人」が迷ったときには「もっと上の方です」と具体的に話しかけ、「おおらかな人」が迷ったときには様子を見守り、間違った方向へ進むようなら呼び止めるような声をかける、といったように。

 

sdtechは「そのユーザー」の「その状況」に合わせた適応型HMIを探究し続けています。