COLUMN
超低遅延4K/8Kコーデックが導く、新時代の映像インタラクティブの実現
高解像度が求められる「4K/8K」という映像の新時代に乗るには優れたコーデック技術は欠かせないものです。
富士ソフトは2018年11月14日～16日にパシフィコ横浜にて開催された展示会「ET ＆ IoT Technology 2018」にて、4K/8K対応のビデオコーデックをご紹介するべく、当社が販売店となっているカナダのSystem-On-Chip Technologies Inc.(SOC社）のH.264/AVC規格のビデオコーデックを実際に4K/8K映像を用いて動作させたデモンストレーションを展示しました。超低遅延のエンコード／デコード処理をFPGAで実現するデモに多くのお客様に興味を持っていただきました。
4K/8K映像における超低遅延転送の実現は、2020年以降は臨場感がある高解像映像でのインタラクティブ（相方向コミュニケーション）を実現することが肝となる技術と考えています。
本コラムでは、私が映像を使ったインタラクティブ性を過去に実現した経験談を交えながら、これから予想される高解像映像でのインタラクティブ性の実現、およびSOC社のビデオコーデックIPコアの優位性について紹介したいと思います。
ビデオコーデック技術は、ストレージ／ネットワークへの負荷を抑えるため、膨大な情報量となるビデオデータを符号化する（エンコード）処理をしてデータ量を削減した上で記録や転送などに使用し、受け取った側でそれを復号化する（デコード）技術です。この技術では、オリジナルの映像画質を復元できることが重要視されます。4K/8Kの解像度となると、コーデックが処理する情報量も非常に大きく、遠隔カメラなどからネットワーク経由で転送するアプリケーションの場合、符号化と復号化の処理で大きな遅延を発生させずリアルタイムで映像データを転送できることも重要になってきます。また、高いインタラクティブ性が必要となるアプリケーションほど低遅延のビデオコーデック処理が求められます。では、映像のインタラクティブが現代の様に当然のこととなるまでにはどのような過程があったのでしょうか。
●1990年代の映像によるインタラクティブの実現
映像を使ったインタラクティブを実現したのは、ビデオゲームのネットワーク対戦だと考えています。その実例は大きく分けて2つあり、ともに1990年代に実現しました。一つ目はゲームセンターでの格闘ゲームやドライビングゲームによる対戦が、同じゲームセンター内だけでなく遠隔地のゲームセンター間で対戦が可能となりました。二つ目はポータブル型ゲーム機で、それぞれの機器間で対戦が可能になりました。私も家庭用ゲーム機の開発に加わり、ネットワークゲームの開発に携わっていたので、人と対戦することで白熱さが増し、一人で遊ぶゲームとは違う面白さがある新しいゲームの世界が実現したことを身をもって感じました。
このネットワークゲームは、実際の映像データが送信されているわけではなく、各機器にゲームアプリケーションがあり、入力デバイスからの情報や同期するための情報を相互に送り合うという技術であり、実映像のデータ量と比べてもはるかに少ない量でのやりとりでした。
ネットワークゲームの出現とほぼ同時期（1990年代後半～2000年前半）にパソコンや電話、ネットワーク対応機器（ゲーム機器含む）によって、実映像を使った「ビデオ電話システム」が開発されました。当時は、家庭にはインターネットなどの通信手段はなく、電話回線にモデム（当時は数十Kbps程度）を利用して、専用小型カメラで実現していました。解像度は最大でもVGA(640×480)以下で、フレームレートも10fps以下、実際のデータ量は数Kbps程度でしたが、これが遠隔地を「実映像で繋ぐ」といった、実映像のインタラクティブ性を家庭でも初めて体験できたものでした。
私は、家庭用ゲーム機を使ったビデオ電話システムの発表会にて、日本（東京）とフランス（カンヌ）を繋げた場に立ち合いました。東京は夕方、カンヌは早朝という時間帯で、家庭用ゲーム機で映像を含めた会話を実現しました。筆者はカンヌ会場におりましたが、カンヌの海の映像に対する東京会場からのどよめきの声を聞いて、新たな映像利用の時代のはじまりと感じました。
この実現には別コラム（ミリ秒待たない高品質H.264/H.265ビデオコーデック）でも語っているMPEG規格やITU-T（国際電気通信連合-電気通信標準化部門）のHシリーズ（オーディオ・ビジュアル(AV)・マルチメディア・システム）の動画像圧縮符号化の技術が利用されたものでした。
以上のような技術の発展によって1990年代では、ネットワークゲームやビデオ電話の楽しさを知ることができました。2000年代に入ると、データ通信網（Wi-Fiや3G）は、ネットワークの進化によって、現在では誰でも使うことができ、世界をつなぐことができるものになっています。
● 2000年代の実映像技術の進化
2000年代に入ると、テレビはアナログ放送が終了し、デジタル放送に切り替わり、地上波/BS/CSデジタル放送では2K映像（フルHD、1080iという言い方もありますが、本コラムでは2Kと言います）の配信が開始されました。2K対応の薄型のテレビも大普及し、現在の大多数の家庭では2K対応デジタルテレビが利用されています。
2K(横1920 x 縦1080)と呼ばれる解像度の映像は、1フレーム 207万3,600画素で構成されている映像です。このフレームが1秒間に約30回で更新される場合、1秒間の全画素数は約6,000万画素となり、膨大な情報量の映像を私たちは家庭のテレビで見ていることになります。1画素の色情報が4バイト(32ビット)で構成されているとすると、1秒間に1,990,656,000バイトというデータを転送する必要があります。
そして2010年後半から現在において、4K/8K対応のテレビやモニタが発売されました。4K解像度の映像の場合、829万4,400画素で構成されることとなって、2Kの4倍の画素数となります。8Kの場合は、16倍の3,317万7,6000画素にもなり、人間の目の視力を超えているともいわれています。
これだけのデータ量を、そのままのデータ（RAWデータと呼びます）の形で放送するとなると、１分間の映像を見るだけでも膨大なデータの転送量となります。それがネットワークを介したものとなると膨大な通信量が発生します。そのため、映像を圧縮して転送するために、符号化（エンコード）、復号化（デコード）という処理が必須となります。
●実映像の符号化と復号化について
日本における地上波/BS/CS放送は、MPEG規格のMPEG2と呼ばれる動画像圧縮符号化の技術を使用しています。MPEG2は、RAWデータからの圧縮率が1/12～1/50で、SDTV映像を4Mbps～10Mbps、HDTV映像を15Mbps~30Mbpsの転送レートに抑えることが可能です。しかし、MPEG2規格では取り扱うことができる解像度は、1920×1152のHL(High Level)レベルまでしか規定されていませんでした。2003年にH.264/AVCというMPEG規格のコーデック技術が現れました。これは、MPEG2よりも高圧縮することができ、4Kの解像度にも対応できるようになりました。
● 4K/8K解像度映像を使ったインタラクティブの実現
2010年代は、半導体の高集積化や通信網の発展により、高解像度の映像をやりとりできるようになりました。2K映像は動画配信サイトで一番利用されているものでしたが、4K映像もアップロードされています。これは、4Kテレビ・モニタの普及だけではなく、民生ビデオカメラの4K解像度対応も大きな要因となり、4Kの利用も広まってきています。しかし、これは一度アップロードされた映像であり、インタラクティブな映像ではありません。またSNSではライブ配信もありますが、チャットのような相互のコミュニケーションとは異なるため、インタラクティブとは言えません。また、テレビのニュース番組でスタジオのキャスターと中継放送先からのアナウンサーを繋いでのやりとりには、常にタイムラグがあります。
前述のとおり、1990年代に熱中した映像を使ったインタラクティブ性は進化してきましたが、今後はより鮮明な4K/8K解像度の映像を利用したインタラクティブ性のある製品開発が大きな進化を迎えると考えています。理由としては、2019年、2020年の日本におけるワールドワイドなスポーツの祭典の開催により、4K/8Kに対応した製品の普及やインフラの整備が加速していくと考えるからです。そして、私たちが普段目にする機会が増えることが、他分野でも利用される技術発展を起こします。そして、一度大きく感動を与えたものは、以降それが当たり前となり、普及するというサイクルが発生します。
4K/8Kのインタラクティブ性の実現によって、以下のような利用方法が実現していくと私は考えています。
・臨場感があるパブリックビューイング・コミュニケーションの実現
→スポーツ、音楽ライブ、eスポーツなど、興奮と感動を与える場の進化形
・高解像映像によるVR（仮想現実）の実現
→年に一回の祭りや、簡単には行くことができない場所を仮想体験できる。
・監視・防犯カメラで鮮明な映像によるセキュリティ技術向上
→物体検知・物体認識の精度が上がる
・自動車やマニピュレータなどの遠隔地からの運転・操作
→超低遅延の実現と鮮明な映像によって実現
・AI（人工知能）の更なる発展（犯罪予知）
・遠隔医療の実現
→鮮明な映像により遠隔地からの手術の支援、遠隔地からの手術の実施
・電子黒板による学校間（例えば遠隔地との）とのコミュニケーション
これらを実現するためには、半導体の更なる進化、次世代通信の実現とともに超低遅延を実現するビデオコーデックが不可欠です。
● SOC社のビデオコーデックについて
SOC社は、MPEG規格のMPEG-2、H.264/AVC、および、H.265/HEVCのビデオコーデックをFPGA向けのIPコアとして提供しています。長年の研究開発を経て生み出した独自のアルゴリズムを、FPGAの特性を生かしてパイプライン化したロジックとして組み上げたことで、効率がよい超低遅延、高圧縮・高品質、使用電力を少なくしたコーデックIPコアを実現しています。
冒頭にデモとして紹介したH.264/AVCビデオコーデックIPコアは、4K映像に対応し、最小1/4フレームの超低遅延を実現しています。1フレーム以下の遅延であり、ネットワーク転送部分の遅延量を除けば、SOC社のいう「Zero Latency」という表現も大げさではないでしょう。また、8K映像についても同様の低遅延を実現しています。
そして、H.264/AVCの約半分の圧縮で同じ品質を確保できるH.265/HEVCについても超低遅延で実現することが可能です。
このように高い技術力を持つSOC社は世界20カ国以上に数多くの顧客を持っています。SOC社はFPGAならではの、要求の厳しい顧客からのカスタマイズ要求に対応したコーデックIPコアを提供することや、各種ボードでの提供も可能であることから、多くの顧客からも高く信頼されています。
『4K映像 超低遅延コーデック実証動画』はこちら
関連製品：
▶ H.264 4K Video/Audio Decoder IP Core
▶ H.264 4K Video/Audio Encoder IP Core
▶ H.264 8K Video/Audio Decoder IP Core
▶ H.264 8K Video/Audio Encoder IP Core
・謝辞：
ET2018の8K映像素材は、株式会社リ・インベンション様にご協力いただきました。
（株式会社リ・インベンション http://re-invention.jp/）
・引用書籍
インプレスR&D発行 「改訂第三版 H.264/AVC教科書」
インプレスR&D発行 「H.265/HEC教科書」
中央経済社発行 「4K、8K、スマートテレビのゆくえ」
オーム社発行 「高効率映像符号化技術 HEVC/H.265とその応用」
＜記者プロフィール＞
はーほん
SOC社コーデック製品、IPClock社製品を担当し、契約交渉人を兼務。
某大手SI会社の研究所にて、AIとマルチメディアの研究員として、自然言語研究開発、某社マルチメディアPCのアプリ研究開発および3D研究開発に従事。その後、某ゲーム会社で自社家庭用ゲーム機のSDK開発/国内外FAE部門の部長兼エキスパートエンジニアとして、また某組み込みWebブラウザ会社の開発統括部長と海外支社長を経て、現在に至る。ロンドンと台北に海外赴任経験あり。
妻、長男、母親の4人家族。3回目となる大学（法学）に在籍中、人工知能学会会員、趣味テニス。
個別相談も承っております。下記よりお申し込みください。
