多視点映像伝送

研究背景

マルチビュービデオ（多視点映像）は，4K/8Kに次ぐ将来の映像技術の基礎技術として注目されています．マルチビュービデオは，ある被写体を異なる位置に設置した複数台のカメラから同時に撮影した映像をユーザに提供することで，臨場感あふれる映像サービスを実現する技術です（図１）．マルチビュービデオ伝送は，娯楽（オリンピック放送），医療（ダビンチによる遠隔手術等），防犯（多角的な高度セキュリティ），探査（深海・宇宙資源探索等），交通（車載カメラによる自動運転等）分野への応用が期待されています．

一方で，複数台のカメラ映像をユーザに伝送する必要があるため，伝送時におけるトラヒックの増大，データ損失による映像品質の劣化が生じます．また，これまでの映像技術とは異なり，マルチビュービデオにおいては，ユーザは複数台のカメラ映像のうち，視聴したいカメラを自由に切り替えながら映像を視聴することができます．このとき，ユーザが切り替え先のカメラ映像を途切れなく視聴できるように，ユーザに映像を送信する必要があります．

本研究では，トラヒックの削減，データ損失による品質劣化の抑制，カメラ切り替え後のスムーズな再生を達成する伝送技術を，ネットワーク技術だけでなく，映像処理技術の観点を取り入れて分野横断的に研究開発を進めています．

Multi-view video is gaining attention as the basic technology of future video technology next to 4K / 8K. Multi-view video is a technology that realizes realistic video service by providing users with images taken at the same time from multiple cameras with a certain subject placed at different positions (Fig. 1). Multi-view video transmission can be applied to fields of entertainment (Olympic broadcast), medical (remote operation by Da Vinci etc.), crime prevention (multifaceted advanced security), exploration (deep sea and space exploration, etc.), etc.

On the other hand, because it is necessary to transmit multiple camera images to the user, the traffic increases during transmission and the video quality deteriorates due to data loss. Also, unlike conventional video technologies, in multi-view video, users can watch videos while freely switching among the multiple camera images they want to view. At this time, it is necessary to send the video to the user so that the user can watch the camera video of the switching destination seamlessly.

In this research, we propose a transmission technology that achieves smooth reduction of traffic, suppression of quality degradation due to data loss, not only network technology, but also image processing technology perspective and cross-cutting research and development.

↑ Page Top

研究内容

1.マルチビュービデオ伝送におけるトラヒック削減方式
　
一般に，マルチビュービデオ伝送では，，撮影された全カメラ映像をユーザに対して伝送します．しかしながら，送信するカメラ台数が増えれば増えるほど，伝送時に要するトラヒックは劇的に増加します．

本研究では，各ユーザのカメラ切替え頻度を元に，ユーザが視聴しうるカメラ映像領域を予測し，領域内に含まれる映像のみをユーザに伝送する方式を提案しています（図２）．例えば，視聴者が頻繁に映像を切り替えている場合は，多くのカメラ映像を視聴者に送信し，あるカメラだけを視聴し続けている場合は，該当のカメラ映像を視聴者に送信します．本伝送方式によって，カメラ切り替え後のスムーズな映像再生を可能にするとともに，伝送時のトラヒックを削減できます．

Generally, in multi-view video transmission, all captured camera images are transmitted to the user. However, as the number of cameras to transmit increases, the traffic required for transmission increases dramatically.

In this research, based on the camera switching frequency, we propose a method of predicting the camera image area that the user can watch, transmitting only the images contained in the area to the user (Fig. 2). For example, if the viewer frequently switches the image, many camera images are sent to the viewer, and if he continues to view only a certain camera, the corresponding camera image is sent to him. With this transmission method, it is possible to smoothly reproduce images after camera switching and reduce traffic during transmission.
2.データ損失による品質劣化を緩和するロス耐性方式

現在，スマートフォンやタブレットに挙げられる無線端末上での映像視聴が急激に需要を伸ばしています．しかしながら，伝送に利用可能な無線資源の品質は，利用する時間・周波数に応じて大きく変化します．このばらつきは伝送中のデータ損失を引き起こすため，受信映像品質の劣化や，再生停止の頻発を招きます．
本研究では，これらの無線端末上で高品質かつスムーズなマルチビュービデオ再生を実現する伝送方式を提案しています．本方式では，利用可能な無線資源の中で品質の高い資源に対して，重要な映像データ（損失した場合，品質の急落や再生停止を招くデータ）を適応的に割り当てること（図３）で，損失による品質劣化を緩和するとともに，無線端末上でのスムーズな映像再生を実現します．

Currently, demand for video viewing on wireless terminals listed on smartphones and tablets is rapidly growing. However, the quality of radio resources available for transmission varies greatly depending on the time and frequency to be used. As this variation causes data loss during transmission, degradation of the received video quality and frequent reproduction stops.

In this research, we propose a transmission method that realizes high quality and smooth multiview video playback on these wireless terminals. In this method, important video data(data which causes a sharp fall of quality and stop reproduction) is adaptively allocated in case of loss of quality resources among available radio resources (Fig. 3). It alleviates quality degradation due to loss and realizes smooth video playback on wireless terminals.

多視点映像伝送

研究背景

研究内容

関連論文