デジタルツインや拡張現実が超進化！　
　実世界を丸ごと3Dモデル化技術

現実のモノや環境からデータを収集し仮想空間に双子のようなモデルを再現する技術が「デジタルツイン」。建物や製造ラインはもちろん都市や国まで丸ごとモデル化することも可能になっています。
間下教授は、デジタルツインで利用される実世界のモデルをリアルに生成するための基盤技術を研究-開発しています。

合成画像による学習で
より高精度な3Dモデルをデータ生成

デジタルツインが注目されているのは、実世界では実験できないようなことをサイバー空間のモデルを使ってシミュレーションできるからです。たとえば、都市を丸ごとモデル化したデジタルツインがあれば、災害による被害のシミュレーションをいろいろな要件（条件）で試行・データ収集でき、その結果、より実効性のある災害対策を立てることができます。

このデジタルツインの生成には、対象となる物や領域の形状をレーザーやカメラ画像によって複数のポイントや角度から3次元計測し、そのデータを1つの３Dモデルに結合（統合）していくことが必要です。このデータ結合のカギとなるのが「位置合わせ」と呼ばれる技術です。位置合わせでは、複数の計測データから目印となるポイントを見つけ、それぞれのデータに対応する部分から、距離感や角度など位置関係を推定して連結していきます。AIを使った技術も開発されていますが、一番の問題は「光の当たり方によって、ものの見え方が変化する」ことでした。AIは、見え方の異なるものを同一物と認識できないため、位置合わせが困難になってしまうのです。

そこで間下教授は、コンピュータによる合成画像で光の当たり方の変化を細かくシミュレーションし、そのデータをAIに学習させることで、効率よく位置合わせを行うという手法を開発。さらに「合成画像では現実の世界の複雑さを完全に再現できない」という根本的な問題に対し、ドメイン適応という技術を駆使。合成画像と実際の画像の違いをうまく調和させることに成功しました。この開発により、AIによる位置合わせは飛躍的に性能がアップ。この技術は拡張現実（AR）にも応用できることから、実画像とCG画像をより自然に統合させることが可能になりました。

見えない部分を想像し、
再現できる技術をめざす

実世界を立体的に写し取る3次元計測では、レーザー光を照射するLiDARと呼ばれる技術や距離が測れるデプスカメラによる撮影画像によって、対象までの距離や位置、形状を点群と呼ばれる点の集合として表現します。

このようなレーザーや撮影画像によるスキャンは比較的大きな領域のデータを自動的に計測できるのがメリット。一方で、対象の表面しかスキャンできず、その表面も何かで隠されて見えなかったり対象の裏側はとらえられなかったりして、データに欠損が生じてしまうことは避けられません。

間下教授は、データの欠損部分についてAIを使って補完し、全体の形状を再現させる技術の開発に挑戦しています。使われているのは、AIの深層学習においてある画像の画風やテクスチャなどスタイルを抽出し、別の画像に適用するスタイル変換の技術です。

レーザーやカメラの目が届かないところはたくさんあります。見えない部分を想像して再現できる能力を高めることで、より精度の高いデジタルツインの開発を可能にすることが期待されています。