DOI Motonori
情報通信工学部 通信工学科 准教授
大学院 工学研究科 電子通信工学コース 准教授
博士(工学)
奈良先端科学技術大学院大学
色彩や画像・映像などマルチメディア情報の解析と生成
researchmap◀ 詳しい研究内容はこちら

休日は、小学生のお子さん達と遊ぶ時間をたっぷりと。最近、ネットで気軽にディープラーニングが体験できるサイトで一緒に遊んだとか。「学会などで居ないことも多いので、家族との時間を大切にしています」。

色の見え方を正確に再現して伝える画像処理技術で
デジタルアーカイブやネット通販が変わる

商品を写真で見るのと実際に手に取って見るのとで、色味や質感がかなり違うことがよくあります。これは、光源の色や光の反射の仕方などによって色の見え方が変わることが原因。
土居研究室では、光をより細かい波長に分けて色の情報を取得し、より正確なものの見え方を再現しています。

3D情報と詳細な色情報を統合し
物体の鮮やかな色彩やリアルな質感を伝える

より正確に、リアルな見え方を再現する。その一つが、より精細な色の情報を使った3D画像処理の研究です。一般のカメラは赤、青、緑の3つの波長の色情報を取得し重ね合わせて画像として再現しています。

土居研究室では、さらに細かく12の波長で色の情報を記録し、それらの色の情報と3D情報とを一つのファイルに統合するフォーマットを研究。さまざまな照明の環境に対応した物体の色をきめ細かく再現し、それにより質感もよりリアルに表現できる技術に挑戦中です。

この技術を美術作品や史料などのデジタルアーカイブに活用すれば、美術館や博物館で見るのに近い色や質感の画像として表示可能に。また、インターネット通販では、より実物に近い画像で商品の魅力を正確に伝える効果が期待できます。

RGB-Dカメラという距離のデータを取得できるカメラで撮影. 12の波長ごとに色の情報を記録する.
RGB-Dカメラで撮影した12の波長の色の記録データ.それぞれの波長ごとに色の情報が記録される.数字は可視光線の波長を示す(nm:ナノメートル).
照明の光の特性や環境が変わると色の見え方が変わる.画像は,白っぽい光の照明と黄色っぽい光の照明を照射した場合の,色の再現の違い.

皮膚のしみや赤味を人工的に生成し
美容や医療のシミュレーションに活用

土居研究室では、色の詳細な情報処理技術を使って肌の色素の分析も行っています。

皮膚のしみや赤味、あざなど色素斑の色の見え方を、さまざまな波長の情報を取得して分析。しみのもとになるメラニンなどの分布や、皮膚の色素の吸収度合、皮膚のきめなどテクスチャーも加味しながら計算し、皮膚に色素斑を人工的に合成したリアルな画像を作成しました。

さらに、AIのディープラーニングを使って色素斑の形状を学習させ、自動的に色素斑の画像を合成する研究も進めています。この色素斑画像生成技術を使って、ファンデーションのカバー力や周囲の肌とどうなじむかなどの効果をシミュレーションできるほか、CGでのリアルな皮膚の表現にも生かすことができます。

上段左からしみ,赤味,あざの合成画像.下段はそれぞれ実物のデータ.こうした例をAIに学習させ,自然な形状を再現できるようにする.

身の回りの大切なものをデジタル空間に再現し
仮想現実世界でコミュニケーション

デジタルツインやメタバースなど、デジタル空間に仮想現実世界を構築する技術が進展しています。もし、普段身の回りにあるものをパシャッと気軽にキャプチャーし、リアルに近い形でデジタル空間に再現できれば、仮想現実での活動がさらに活発になりそう。
小さいころから大事にしていたぬいぐるみなど、その人にとって価値のあるものがデジタル上でも相棒になってくれたら、メタバースでの過ごし方も変わってくるかもしれません。

お問い合わせ

各種取材や研究に関することなど、
お気軽にお問い合わせください