スマートフォンの普及によってコミュニケーションの手段としてビデオ通話が頻繁に使われるようになりました。 一般的に、映像データはデータ量が大きいため、ビデオ通話の使用率の上昇は通信帯域のひっ迫を招きます。 本研究室では、ビデオ通話の映像トラヒックを削減する方式として、深層学習におけるGAN (Generative Adversarial Networks)による映像復元技術を用いた手法を研究しています。

GANとは、2つの異なる機能をもったニューラルネットワークを競争させることで、学習器自体に学習データに似たデータを生成させることができる技術です。例えば、「1. ある映像が人であるかどうかを判別するニューラルネットワーク」と「2. 人の映像を生成するニューラルネットワーク」を競争させながら学習を行うことで、本物と見分けのつかない人の映像を生成することができるようになります。

With the spread of smartphones, video calls have been used frequently as a means of communication. Generally, since the amount of video data is large, the rise in the usage rate of video calls leads to tightness of the communication band. In this laboratory, we are studying a method using image reconstruction technology by GAN (Generative Adverarial Networks) in deep learning as a method to reduce video traffic of video calls.

The GAN is a technology that allows learners themselves to generate data similar to learning data by competing neural networks with two different functions. For example, by conducting learning while competing "1. Neural network to judge whether a certain image is a person" and "2. Neural network to generate a person 's image", it is possible for people who are indistinguishable from genuine to be able to generate video.

関連論文

1. [1] 渡邊 翔太, 川崎 慈英, 猿渡 俊介, 渡辺 尚, "ビデオ伝送に対する深層学習の適用可能性に関する検討," 情報処理学会全国大会, 1U-07, pp.1–2, 2018. internal
2. [2] Shota Watanabe, Takuya Fujihashi, Shunsuke Saruwatari, Takashi Watanabe, "Traffic Reduction in Video Call and Chat using DNN-based Image Reconstruction," IEEE International Conference on Communications (IEEE ICC'19), pp.1–7, 2019. pdf