AIやVR・MRの技術を活用し
成長をサポートする今までにないシステムを開発

プログラミングを専門とする沼田研究室。多彩な研究テーマの中から、応用的な研究をご紹介します。
一つはまだあまり実現されていないAIによる書写のシステム、もう一つはVRやMRの技術を使った手術支援のシステムです。どちらも人の成長をサポートするための技術です。

AIにペン習字をさせるシステム　
筆運びを学習させて精度をアップ

沼田准教授自身の関心から生まれたのが、ペン習字学習支援アプリの研究です。ペン習字は、字典から手本の文字を探し、何度も書き写すことで上達します。ただ、「私は〇田△介と申します」など練習したい文字を、1字ずつ本からコピーして切り貼りし手本を作成するのは手間がかかります。

沼田研究室では、学習したい文字や文を手本の文字に変換するアプリを作成。手本の文字に補助線を入れるなど、アプリに登載する上達支援機能を開発しています。

さらにペン習字の字体を機械学習させ、AIにペン習字をさせる研究もスタートしました。今後は人の筆運びと同じ筆順なども含めた動きを学習させることにより、より美しいペン習字が書けるシステムの構築をめざしています。

ぐっとつかまれた肝臓の動きを再現し
手術のリアルなシミュレーションを可能に

また、情報学科・登尾教授と共同で取り組んでいるのが、肝臓切除手術のシミュレーションシステム、手術中のナビゲーションシステムの開発です。

沼田研究室では、CTスキャンやMRIなどから得られた患者の肝臓の3Dモデルを、手術の動きに合わせて変形させる技術に取り組んでいます。肝臓をぐっとつかみメスで切り込むといった外部から力を加えた際に、グニュっとした実際の質感にマッチしたリアルな変形を再現できるモデルの生成が目標。

こうした研究は、手術前に手術手順を確認するVR技術や、手術中に目の前の視野に重ねて仮想の肝臓を自由に動かしメスを入れる位置や血管の状態などを確認できるMR（複合現実）技術の高度化につながります。