COLUMN
解像力向上化システムの使いみち #1 ～特性と効果～
連載コラム「Intel® アクセラレーションカード開発日誌」では、Intel® Programmable Acceleration Card（以降Intel® PACと呼ぶ）と、ギズモインターナショナル社の映像高精細化技術SPIDERを組み合わせた、映像処理システムの開発状況を紹介しました。
この連載では、そこで開発した映像処理システムの紹介と、どのような用途でどのようなメリットがあるのかをご紹介していきます。
解像力向上化技術SPIDERとは
このシステムの肝は、解像力向上化技術SPIDERです。
SPIDERはギズモインターナショナル社が開発した映像処理技術で、映像を「くっきり」「はっきり」させる技術です。
製品ページでは「映像高精彩化技術」を呼称としていますが、より実際に近い具体的な表現として、このコラムでは「解像力向上化技術」と呼びます。
解像力とは、写真撮影において、被写体の鮮明な像を再現できるレンズ・フィルム・イメージセンサーなどの能力を示す指標ことです。MTF（Modulation Transfer Function）などの測定値で表されることがあります。
一般的に、解像感は撮像装置の様々な要因で低下します。例えば、低いレンズ性能、画像センサの性能限界、フォーマット変換やエンコードによる解像感の低下、アップコンバート（画角の拡大）によるぼやけ、などが要因になります。
図1 SPIDER処理のMTF測定結果
青線：SPIDER OFF時（＝カメラ原画）／黄色線：SPIDER ON時解像度向上化技術は、その名の通り、映像の解像感を向上させます。言い換えると、様々な理由で低下した解像力を、SPIDERが取り戻します。
図1は、元の映像と、解像度向上化技術SPIDERを実施した映像のそれぞれでMTFを測定したものです。解像度向上化技術SPIDERによって、各空間周波数帯で10～15%程度の向上が認められます（カメラや測定環境により結果が異なる場合があります）。
これらの測定値はあくまで撮像装置の空間解像度特性の指標ですので、見た人の総合的な体験とは一致しない場合がありますが、解像力が向上すると、確実に視聴者の印象は良くなります。ぼやけたレンズで撮影した映像を、より良いレンズで撮りなおしたような印象になります。また、単純なシャープネスやエッジ強調のように、不要な部分まで不自然にくっきりさせるわけではありません。最終的な視聴者に、不自然さを感じさせること無く、印象を向上させます。
高精細化の比較画像を上記サイトから抜粋します（図2）。
図2 SPIDERによる解像力向上化画像の比較
また、映像に適用した場合の比較動画を以下のYouTubeチャンネルで視聴することができます。
https://www.youtube.com/channel/UCc6wTfZa06eovCy457vqfng/videos
解像力向上化技術SPIDERの効果
SPIDERを適用した映像はオリジナルより高解像度化されており、オリジナルより「くっきり・はっきりした映像」になります。その効果は、以下のような映像に特に顕著に現れます。
-
撮影条件の悪い映像
- 暗いレンズによるコントラスト低下
- ピントズレによるぼやけ
- レンズ解像度不足による低画質化
-
劣化した映像
- 再エンコードによる劣化
- 古い映像・映画
- ドローンやウェアラブルカメラなど小型センサを使用した低画質映像
-
拡大した映像
- SD映像をHDに、あるいはHD映像を4Kにアップコンバートした映像
- 特定の領域を拡大した映像
1の映像はすでに設置・運用を開始しているシステムによく見られます。当初は低い解像度を前提にしたシステムだった監視カメラが、センサだけリプレイスしても画質が上がらない場合などです。
2の映像は過去に撮影・編集された映像を再配信する場合などによく発生します。古い映像をアーカイブ・配信している会社などに多いかと思われます。また、ドローンやウェアラブルカメラが日常化するにつれ、貴重だけど低画質なままの映像を見る機会も増えました。
3は古い映像を現在のシステムで配信またはメディア化する場合です。単純なアップスケーリングによる輪郭のぼやけなどを低減し、高解像度ディスプレイでも鑑賞に耐えられるような映像を実現します。特定の領域の拡大は、監視カメラやライブカメラから必要な部分を拡大するような場合に発生し得ると考えます。
解像力向上化技術とエンコードの組み合わせによる効果
さて、富士ソフトが開発した解像力向上化システムでは、Intel® PACに実装されたSPIDER技術以外に、株式会社ソシオネクストのM820Lメディアアクセラレータカードも搭載されています（図3）。
図3 解像力向上化システムの２つの機能Intel® PACのSPIDERはffmpegのフィルタとして機能し、M820Lメディアアクセラレータカードもffmpegのエンコーダとして機能するように設計されています。そのため、双方をffmpegのオプションによる一連の映像処理チェーンに組み込み、容易にパイプライン処理が実行できるようになっています。
この2つの処理、解像力向上化処理と高速エンコードを組み合わせることで、エンコードによる画質劣化の底上げができるようになります。低ビットエンコードを行う前に解像力向上化処理を行うことで、エンコードの画質低下を補うことができます。
言い方を変えると、解像力向上化処理を行うことで、エンコードの圧縮率を上げることができるようになります。つまり、同様の画質でも、より低いビットレートでエンコードできるようになります（ただ、この言葉は語弊を生みやすく、あくまで解像力向上化処理で解像感が底上げされた「同様の画質」であり、高ビットレートと「同じ画質」を維持できるわけではありません。元々解像感が足りない部分は低いビットレートならではの画質が顕著に現れることがあります）。
こういった、解像感をある程度維持したままビットレートを下げる技術は、様々な用途に応用できるのは容易に想像できます。ストレージの節約、回線容量の節約、それによるコストダウンは様々な業界・設備で有効です。
特に、設備のアップグレードをせず既存の回線のまま高解像度映像を配信する必要がある配信・放送事業者などには意義のある効果だと思われます。
今回は、機能から解像力向上化システムの使いみちを想定してみました。次回は、もう少しアプリケーションに踏み込んで用途を検討したいと思います。
ご紹介製品はこちら：SPIDER
個別相談も承っております。下記よりお申し込みください。
