works

デジタルペンと生体データから「心のうつろい」を推定するシステムを展示

ソフトウェア開発
デザインコンサル
機械学習

絵を描くという行為には創造的なパワーがあり、自らを表現することは根源的な喜びがあります。
しかし、描いている間はずっと集中しているわけではありません。他のことを考え、ぼんやりしている時間もあります。「創造」は、そういった心理状態のときに新しい発想として生まれることもあります。

エスディーテックは、こういった心理状態を「心のうつろい」として、昨年の取り組みに引き続きデジタルペンの動きと生体データから推定することを試みました。木を描くことに焦点を当て、収集したデータをリアルタイムに分析して心のうつろいを推定し、描いた木に対して反映する。エスディーテックは、システム企画、UIデザイン、機械学習モデルおよびアプリケーションの開発を担当しました。

 

どのような木の描き方があるのか、ペンデータと生体データを収集してこれらのデータを分析し、よく描かれる木のパターンや珍しいパターン、ペンの運び方や色の使い方を整理しました。これら、キャンパスの状態とユーザーの行動、生体データを組み合わせることでユーザーの行動がどれくらい効率的か、非効率だが創造的かを推定するモデルを開発し、心のうつろいを推定しました。

 

ユーザーが木を描いている数分間は、心のうつろいを推定します。描かれている木が多様であるように、描いた人の心理状態も多様です。推定した心のうつろいによって、木が歪んだりぼやけたりといった変化をリアルタイムに与えます。

心のうつろいを表した木を描き終えると、他者が過去に描いた木が集う森に追加されます。森には、ただ完成された木ではなく、それを描いている間の「集中している状態(Mind-Fullness)」や「他のことを考えている状態(Mind-Wandering)」をあるがままに表す木が集まっています。私たちは、創造的なパワーを後押しする多様な心理状態を肯定するこの場所を「創造の森」と名付けました。

 

製作したシステムは Connected Ink 2019 にて展示しました。
Connected Ink は、ワコムがDSCとともに、2016年より開催するデジタルインクやデジタル文具の発展・拡大を促すために行われているイベントです。

 

・昨年度の取り組み(Connected Ink 2018)