次世代映像技術向け超低遅延コーデック

4K/8K FPGAボード特集

4Kコーデック技術(エンコーダ IPコア・デコーダIPコア)

H.264 (MPEG-4 AVC)コーデック

5g local

H.264(AVC)コーデック

映像コーデック(ビデオコーデック)には、MPEG規格(MPEG4やH.264/AVC、H.265/ HEVC)・JPEG200・AV1などがあります。ここでは、その中でもH.264(AVC)を使用したコーデック技術についてご紹介します。

コーデック(Codec)とは、直訳すると圧縮(符号化)/伸長(復号化)を意味します。実際には符号化するエンコード(Encode)と復号化するデコード(Decode)、双方向に変換できるトランスコーダ(Transcoder)があります。またその機能をそれぞれエンコーダ(Encoder)とデコーダ(Decoder)と言います。映像コーデック以外にも、音声コーデックと画像コーデックもあります。

ビデオコーデック技術は、ネットワーク/ストレージへの転送負荷を抑えるため、ビデオデータを符号化する(エンコード)処理を施し、受け取った側でそれを復号化する(デコード)技術です。重要視されるのは、復元の際、いかにオリジナルの映像画質を劣化させずに再現できるかどうかです。4K/8Kレベルの解像度の動画ともなると、コーデックが処理する情報量も非常に大きくなってきます。遠隔カメラなどからネットワーク経由で転送するアプリケーションの場合、重要なのはエンコードとデコードの処理で遅延を発生させず、リアルタイムで映像データを転送できることです。また、高いインタラクティブ性が必要となるアプリケーションほど、低遅延(1フレーム以内)のビデオコーデック処理が求められます。現在、AI技術を使った物体検知や物体認識にはこのリアルタイム性は必須の条件になっています。
FPGA上に実装された4K解像度対応のH.264コーデックは、FPGAの特長を活かして並列でコーデック処理を実施することで、超低遅延(1/4フレーム程度)の実現、高圧縮/高品質映像、低電力そして小フットプリント(少ないコードサイズ)を可能にしています。

4K 評価キット

4K解像度まで実現できるコーデックIPが実装されたモジュール、メモリ、I/Oなどを搭載し、開発をすること無く4Kエンコード/デコードを確認することができます。このエンコーダ(Encoder)/デコーダ(Decoder)技術は、FPGA上のIPコアであるためアップデートが可能であり、且つお客様の要望によるカスタマイズや最新のMPEG規格(H.264/AVCからH.265/HEVC)へ移行も可能です。
動画コーデックは、現在MPEG規格とAV1(AOMedia Video1)の二極化になっていますが、MPEG規格はAV1と比べて、超低遅延を実現できるコーデック規格です。 

VoIP-4K

3

本ボードは、Video over IP向けに開発したキャリアボードを4K解像度対応コーデックボードとして製品化された小型のボードソリューションです。モジュールの変更による2K解像度への対応も可能です。

利用実績

4K映像超低遅延によるインタラクティブ性の実現

Video over IPは、放送機器で利用されるSDIビデオ信号をIPに変換することで、イーサネットや無線を用いて伝送するための規格です。SOC社ではVideo over IP向けのキャリアボードとして米国や欧州、イスラエルの防衛機器開発メーカーにOEM提供した事例があります。今回、このキャリアボードを『VoIP-4K』製品として、販売を開始しました。VoIP-4Kは、多くのお客様が調査・研究で容易に活用していだけるように筐体を付けた形での提供を行っており、すでに数十ユニットもの販売・導入実績があります。またHDMIを利用したVoIP-2Kという製品としても提供できます。
本ボードは以下の利用方法が可能です。業務用4Kカメラで撮影した映像を送信機となるVoIP-4K(エンコーダIP搭載)に入力し、4Kエンコードします。エンコードされたストリーミングデータを、インターネット経由で受信機器となるVoIP-4K(デコーダIP搭載)で4Kデコードして、4KTVに出力します。
また、送信機側(エンコーダ搭載)では、USBシリアル経由でエンコードの各種パラメータ(転送レート、フレームレート、GOP変更)をリアルタイムでおこなうことが可能です。
このエンコードとデコード、UDP転送の処理速度は、以下の図のように17ms以下の低遅延を実現しています。そして、上記で紹介した利用方法の場合、4Kカメラと4Kモニタ出力の時間を加えても、70msec以下の低遅延を実証しています。

4K(UHD)59.94fps → 4KTV表示までの遅延「70msec以下」

実績として、上記の環境下で撮影された映像をTVに出力するまで、70msec以下という超低遅延を実現することができました。

4K/8K、低遅延・超低遅延コーデック特集
に関するお問い合わせはこちらから

組み込み製品・システム開発関連はもちろん、価格などについてもご相談があれば、
お気軽にお問い合わせください。

お急ぎの場合、お電話でのお問い合わせも承っております。
TEL:050-3000-2102(エンベデッドソリューション推進部)までご連絡ください。

フォームが表示されるまでしばらくお待ち下さい。

恐れ入りますが、しばらくお待ちいただいてもフォームが表示されない場合は、こちらまでお問い合わせください。

お急ぎの方はこちらから

0120-593-111平日9:00〜17:00

コーデックの基礎知識

コーデックの基礎知識

初心者にもわかりやすく、コーデックの基礎を知るための記事を書いてみます。
動画のファイル形式(これを「コンテナ」や「多重化」など呼ばれている、映像データや音声データ、付加データなどをまとめて格納するファイル形式)には、MPG、MP4、AVI、WMV、MOV等さまざまな種類が存在します。動画ファイルの拡張子に、「.mp4」や「.mov」と付いているそれです。しかし、このフォーマットだけで見た場合、それぞれに明らかな違いはありません。動画の画質や音質、再生時にかかる負荷、ファイルサイズの違いは「コーデック」というプログラム形式によって生じます。コーデックは電気通信のCompression(コンプレッション:圧縮)/DECompression(デコンプレッション:伸長)を意味するcoder/decoder(コーダー/デコーダー)が語源です。

映像データと音声データからなる録画の動画などは容量が大きいため、圧縮・変換(エンコード=符号化)しなければなりません。そして再生時には、元のファイルサイズに復元(デコード=復号)する必要があります。この、圧縮・変換・復元するためのプログラムがコーデックです。コーデックエラーが起こるのは、圧縮したときのコーデックと再生(伸張)するときのコーデックが異なっているからです。たとえば「H.264」というコーデックで圧縮された動画ファイルは、パソコンに同じ「H.264」のコーデックがインストールされていないと、再生することができません。
また、コーデックには、動画を圧縮するビデオ コーデックと、音声を圧縮するオーディオ コーデックがあります。ちなみに音声の形式には、WAVE、AIFF、MPEG1 Layer2、MP3、AAC、FLACなどがあります。

地上デジタル放送・BSデジタル放送では、TSファイルと呼ぶ動画・音声のパケット送信形式を利用しています。これは、 Transport Stream(トランスポートストリーム)ファイルを略した、動画データ・音声データ・字幕データなど付帯情報を記録するためのファイル形式で、放送や通信に向いた形式です。動画圧縮する方式には、MPEG-2やH.264、H.265など、音声圧縮する形式にはAACやMPEG1 Layer2などあり、ブルーレイディスクの記録形式にも利用されています。

デコード(decode)時に使うコーデックは、エンコード(encode)時に使ったコーデックであることが必須です(動画コーデック、音声コーデックともに)。合っていない場合はエラーが出て再生することができません。しかし、動画に入っているコーデックの情報がわからない場合もあります。その時はコーデックチェッカーというソフト(無料などのフリー版もあります)をダウンロードして調べることが可能です。再生に必要なコーデックがわかったら、該当するコーデックをネットでパソコンにダウンロードし、それをインストールすることで一般的な再生プレイヤーであれば再生することができます。また、色々なコーデックがあらかじめ内蔵されている便利な再生プレイヤーもあり、そちらを選択する方法もあります。初心者の場合、このどちらかの方法がおすすめです。
データ圧縮のコーデックには、可逆圧縮を用いるものと非可逆圧縮を用いるものがあります。可逆圧縮は完全に元のデータに復元できる圧縮で、ドキュメントファイルや一部の画像・音声ファイルの圧縮時に使用されます。非可逆圧縮は、完全復元はできない代わりにデータサイズが大きくなりやすい画像や音声、動画に対し、圧縮率(ビットレート)を高めてデータサイズを大幅に小さくすることも可能です。ちなみにコーデックという言葉には、エンコードとデコードを双方向に行うためのアルゴリズムだけでなく、ビデオ カメラで撮影した音声や動画を別の形式に変換する装置や、データ圧縮機能を使ってデータを圧縮・伸長するソフトウェアも含まれます。

データを圧縮・伸長するためのコーデック

Microsoft Windowsの標準形式には、無圧縮(非圧縮/RAWデータ)状態のファイル・データがあります。例えば音声ならPCM、画像ならBMPなどです。
短い音声や動画、小さいサイズの画像を扱う場合には無圧縮のほうが適していることもありますが、サイズの大きい映像や音声となるとそうはいきません。後者の場合、無圧縮だと大容量のメモリやハードディスクが必要になることがあり、また、トラフィック量の増大にもつながります。こうしたリスクを避けるためには、ファイルを圧縮してサイズを抑えなければなりません。このとき必要になってくるのが、データを圧縮・伸張するためのコーデックです。
Media Player Codec Pack(メディアプレーヤー・コーデックパック)は、Windows Media Playerにとって便利なのコーデックパックで、ほとんどのビデオ・オーディオファイルを再生できます。  

動画圧縮のコーデック

可逆圧縮のコーデックとしては、デジタルビデオ カメラに使われている「DV CODEC」や、3DCG動画制作などに使用される「AVIzlib」、テレビ番組の高画質記録に使われるマルチスレッド非対応の「Huffyuv」などがあります。
非可逆圧縮のコーデックとしては、代表的なものにDVDに用いられる「MPEG-2」が挙げられるほか、アップルの開発した動画編集用の「Apple ProRes」や、カノープスが開発した「Canopus HQ Codec」、RealNetworks社が開発した低レートに強いコーデック「RealVideo」、QuickTimeムービー向けの「Sorenson Video」、Alliance for Open Media(AOMediaもしくはAOM)が開発した「AV1」、ffdshowがサポートする「Snow」、その他「xvd」などがあります。

画像圧縮のコーデック

256色までの可逆圧縮「GIF」や、非可逆圧縮、可逆圧縮が選択できる「JPEG」、最大48bit(各色16bit)フルカラー(約1677万色)までの可逆圧縮「PNG」が挙げられます。非可逆圧縮、可逆圧縮の選択が可能なコーデックとしては、Googleが開発した「WebP」があります。

音声圧縮のコーデック

非圧縮のコーデックとして、音楽CD、DVD-Video/Audio、Blu-ray Discなどで採用されている「LPCM」が、非可逆圧縮のコーデックには、ミニディスク (MD) やSDDSで採用されている「ATRAC」コーデックやドルビーデジタルの「AC-3」が、可逆圧縮のコーデックには、Oggプロジェクトの可逆圧縮で使われる「FLAC」や、iTunesやQuickTimeなどに搭載されている「Apple Lossless」、「TTA」などが挙げられます。その他、可逆圧縮と非可逆圧縮を選択できるコーデックとして、Windows Media Playerに搭載されている「Windows Media Audio(WMA)」や、DTSが開発したDTSの拡張規格で、Blu-ray Discに採用されている「DTS-HD Master Audio」、ハイブリッドモードも備えた「WavPack」などが知られています。

H.264(MPEG-4 AVC)コーデックとは

高画質で圧縮サイズの小さいMPEG-4を上回る高画質で、DivxやXvidと比べてビットレートあたりの画質が非常に優れているという特徴があります。圧縮サイズも小さい規格ですが、再生時の負荷は大きくなります。エンコード・デコードが速いこと、互換性が高いことなどが人気の理由となっていて、現在、高画質動画の主流となっている規格です。一度でも動画を作成したことのある人ならご存知だと思います。
特許を取得したH.264(MPEG-4 AVC)技術を商業的に使用するためには、MPEG LAや他の特許所有者へロイヤリティを支払う必要がある。ただ、MPEG LAは、エンドユーザーが無料で利用できるインターネットビデオのストリーミングにH.264(MPEG-4 AVC)技術を無料で利用することは認めている。

H.265(HEVC)コーデックとは

H.264 AVC後続の動画圧縮規格の一つで、High Efficiency Video Coding (HEVC) とも呼ばれている。ISO/IECのMPEGとITU-TのVCEGによる共同研究によってJCT-VC (Joint Collaborative Team on Video Coding)として提案された。ITU-Tは2013年1月25日に承認した。

H.264と比べて、ブロックサイズの適正化などの圧縮効率が優れており、MPEG 2 比で約4倍、H.264/AVCとの比較でも約2倍の圧縮性能を有している。

コーデックの種類は多い

上記で紹介したのは、ごく一部分のコーデックにすぎません。その他にも、1995年に登場し、現在でもデジタルテレビ放送を中心に利用されているMPEG2、ネット動画をモバイル機器(ハードウェア)で視聴するために開発されたMPEG4、MPEG4をペースにDivX,Inc.が独自開発したDivx、Microsoftが開発したWMV9等、圧縮サイズから画質の良し悪し、再生時の負荷がそれぞれに違うコーデックがたくさんあります。
最近では、今後もっともスタンダードになっていくと予想されている「AOMedia Video 1(通称AV1)」が注目を集めています。AV1は、AppleやIntel、Amazon、Google、Microsoftなど最先端の企業が主導でつくったコーデックで、MPEG標準規格の「H.265」やGoogleが開発した「VP9」を上回る高い圧縮率が特徴です。
コーデックの世界は競争が激しく、日々アップデートしています。現在普及していると思われているコーデックも、すぐに過去のものになっていくでしょう。今は最強と思われているコーデックを簡単に上回る、さらに優れたコーデックがいつ誕生してもおかしくないのです。
コーデック技術の発展は、技術自体の研究によるものでもありますが、一番大きいファクターは、CPU/GPU/DSP/FPGAなどの半導体の発展と、データを処理するために必要なメモリの容量増大と内部処理スピード、データ転送にデータバスのバス幅やクロック数の進化と切っても切れない関係があります。
例えば、H.265やAV1など最新のコーデックは、H.264やVP8と比べて50%以上のプログラムサイズが大きく、処理能力もCPU/GPUの性能や、メモリ容量によって期待している処理ができない場合があります。

コーデック発展のキーとなるファクター

コーデック技術の発展は、技術自体の研究によるものでもありますが、一番大きいファクターは、CPU/GPU/DSP/FPGAなどの半導体の発展と、データを処理するために必要なメモリの容量増大と内部処理スピードのアップ、データ転送にデータバスのバス幅拡大やクロック数アップの進化と言えます。

例えば、H.265やVP9など最新のコーデックは、H.264やVP8と比べて50%以上のプログラムサイズが大きくなり、処理能力もCPU/GPUの性能や、メモリ容量によっては期待している処理ができない場合があります。つまり、処理能力が早くなり、プログラムサイズを大きくすることができることで、新しいコーデック技術を実装し、処理することでより進化したコーデックが実現できるのです。

動画形式(コンテナ)種類と対応コーデック

動画形式(コンテナ名) 拡張子(ファイルフォーマット) 代表的な映像コーデック 代表的な音声コーデック
AVI .avi H.264・Xvid・Divx・MPEG-4 AAC・MP3・LPCM
MP4 .mp4 .m4a H.264・Xvid・Divx・MPEG-4 AAC・MP3・Voribis・AC-3
MOV .mov .qt H.264・MJEG・MPEG-4 AAC・MP3・LPCM
MPEG2-TS .m2ts .ts H.264・MPEG-2 AAC・AC-3・MP3(BDMVはAC-3、BDAVはAACって感じ)
MPEG2-PS .mpeg .mpg MPEG-2・MPEG-1・MPEG-4 AAC・MP3・LPCM
MKV .mkv H.264・Xvid・Divx・MPEG-4 AAC・Vorbis・MP3・LPCM・FLAC
WMV .wmv(.asf) WMV9 WMA・MP3・AAC
FLV .flv (後継:F4V) VP6・H.263・H.264(バージョンによる) MP3・AAC・ADPCM
ASF .asf(.wmv) H.264・Xvid・Divx・MPEG-4 AAC・MP3・LPCM・FLAC
VOB .wmv MPEG-2・MPEG-1 PCM・AC3・MP2
WebM .webm VP9・VP8 Vorbis
OGM .ogm Xvid・Divx MP3、Vorbis

お探しの組み込み製品はキーワードで検索!