画像・映像を、いかに美しいまま軽くするか？
高解像度時代の課題に高速圧縮と劣化予測で挑む
仕事でも、プライベートでも、学校でも、私たちの生活に欠かせない動画像。高解像度になるほど、データは重くなり送受信に時間がかかってしまいます。
藤田研究室では、高速で動画像を流通させるために動画像のエンコードを最適化する研究に取り組んでいます。
テレビの生中継やストリーミング配信
その鍵を握るのは、エンコード時間の削減
SNSのやりとり・ニュースのチェック・映画やスポーツの鑑賞など、スムーズに流れる動画像を私たちがスマホやテレビで楽しめる背景には、エンコード＝圧縮符号化という技術があります。
たとえば、5GBのパケットでは1080pのフルHD動画は、圧縮をしない場合はデータが大きいため27秒しか再生できません。しかし、300分の１に圧縮すれば、135分も再生することができます。
また、地デジの帯域は約12Mbpsのため、320×240ピクセル×15fpsといった小さめの動画で圧縮していなければ13.8Mbpsで地デジの帯域より情報量が多くなり伝送できません。動画像再生にエンコードは不可欠ですが、圧縮しつつも画質を美しく保つためには、さまざまな演算をしなくてはならず、エンコードに時間がかかってしまいます。8Kの高解像度時代を前にこれは大きな課題で、特に一刻を争うライブ配信などでは使い勝手が悪くなります。
そこで藤田研究室では機械学習により不必要な演算を効率的に省き、エンコード時間を削減する研究を行いました。
分割パターン決定の高速化と劣化度合いの予測で
速くて、軽くて、美しい動画像をめざす
動画像を効率的に圧縮するには、画像を分割し、動きや模様など画素の特徴量の小さい領域は大きなブロックを、特徴量の大きい領域には小さなブロックを割り当てます。この分割パターン決定に演算時間が多くかかるため、深層学習によりさまざまな選択肢を学習させて決定までの時間を短くしたり（画像1）、ばらつきが少ない分割候補を除外して演算量を削減させることで圧縮を高速化（画像2）。
また、別の手法として、エンコードする際に劣化の度合いを高精度で予測することで、復号画像の劣化予防にも挑んでいます（画像3）。動画像にはテレビ局等放送業界が使うHEVCやVVC、ストリーミング系企業が使うAV1など多様な規格がありますが、これらの研究は動画像規格の改善はもとより、さらに優れた新規格誕生への可能性を秘めています。
画像3 符号化パラメータintra pred modeを用いた画素単位での劣化精度予測と正答率
デジタルトラフィックの8割を占める動画
エンコード技術は、持続可能社会に貢献！
インターネットやLANなどの通信ネットワーク上で転送されるさまざまなデータ。実はそのデータの８割を占めているのが動画です。１％削減したとしてもデジタルトラフィックの膨大な削減になります。圧縮により通信時間が短縮されるということは、それだけ消費電力を抑えられるということ。つまり、SDGsに貢献するのがエンコード技術です。
近い将来、８Kのクリアな画像が地上波で楽しめるだけでなく、スマホでもサクッと録画できるようになりそうです。
各種取材や研究に関することなど、
お気軽にお問い合わせください