COLUMN
ステレオビジョン×AIの世界
富士ソフトでは3次元ビジョンソリューションとして、2台のカメラを使用したステレオビジョンをFPGAで実現するためのIPコア製品「Stereo Vision IP Suite」を提供しています。
「Stereo Vision IP Suite」は、様々な分野の組み込み製品にステレオビジョンのしくみを導入することが可能です。このコラムでは、富士ソフトが提供する「Stereo Vision IP Suite」を紹介していきます。
◆Stereo Vision IP Suiteとは
図1. システムブロック図「Stereo Vision IP Suite」とは、東京工業大学のアルゴリズムをベースに、当社とインテル®（旧アルテラ）が共同で開発、製品化したものであり、ステレオカメラの精度を出すために必要な「補正・校正」、「自動校正」、2台のカメラの視差を利用して対象物の距離を算出する「ステレオマッチング」、物体を検知する「物体検知・追跡」の4つの機能を提供する商品です。（図1.システムブロック図)
関連ソリューション
◆ステレオビジョンの特長と優位性
昨今、広く使用されているセンシング技術として、ステレオビジョンやミリ波レーダ、LiDAR（Light Detection and Ranging、ライダー）があります。
ステレオビジョンは、同一の物体を2つのカメラで異なる視点から観測した際に得られるカメラ画像を用いて、物体の距離や位置等を三角測量の原理に基づいて計測するセンシング手法です。安価な可視光カメラを用いて得られた画像から、複数の立体物の大きさ、距離、位置、速度等を瞬時に検出することができます。
それに対してミリ波レーダは、ミリ波を照射し反射波をセンサで捉えることで、物体までの距離や方向を計測するセンサです。雨、霧、逆光、夜間等の影響を受けず長距離の測定が可能だが、視野角が狭く、物体の材質依存性が高いことが特長です。
LiDARは、赤外線レーザーの角度を変えて照射することで、周囲の障害物を3次元的に把握できる超高性能なセンサです。視野角も広く180度以上の視野を得ることができるが、赤外線が減衰するため長距離の測定には不向きであり、非常に高価なセンサです。
他のセンサに比べてステレオビジョンは、広い視野角と物体の材質依存性が少ないセンサであり、長距離の測定が可能です。また、得られたカメラ画像は、後段の画像認識（ディープラーニング等）にも使用することも可能です。(図2.他のセンサとの比較)
図2.他のセンサとの比較
◆市場ニーズはステレオビジョン×AIの世界！！
図3.物体の識別ステレオカメラは、ロボットビジョンなどのFA機器用途や、防犯・セキュリティ対策などの監視カメラ用途で広く注目されており、これらの用途では、距離及び位置情報に加え物体を識別する機能が必要とされています。
ステレオビジョンでは、得られる距離と位置の情報を基に物体を検知することは可能ですが、物体を識別することができません。
そこで当社では、FPGAを使用したステレオビジョンと組み込みAI技術を組み合わせ、物体検知に加え物体の識別が可能となる、高速・低遅延・低コストのステレオビジョンシステムを開発しました。 (図3.物体の識別)
ステレオビジョンで構築したシステムにAIを付加する事により、ステレオビジョンで認識した物体の分類を可能とします。ステレオビジョン×AIの想定される利用シーンは以下の通りです。
・特定範囲内での認識物の分類を行いたい。(工事現場、工場など)
・クレーン作業で危険範囲に人が入ってきたときにアラームが欲しい。
・出荷品質に届かない物の判別を分類したい。
・認識物の分類の結果、行動分析の見える化を行いたい。(ショッピングセンター・スーパー、公共施設など)
・ドローンに搭載し、機器・システムの設置の難易度が高い場所で監視(認識物の分類)を行いたい。
・暑い又は寒い環境で、人の監視では人に負荷がかかる状況で認識物の分類を行いたい。
ステレオビジョン×AIの適用は、映像を基にしたリアルタイムでの特定・追跡が中心と考えており、今まで人による作業で行っていた分野又は、人による作業が行えなかった分野に対して導入する事により+αの価値を付加し、想定される利用シーンのような問題解決に寄与できると考えます。
富士ソフトが出展するET & IoT Technology 2018に向けて、ステレオビジョン×AIの展示物を準備しています。実際にステレオカメラをブースに設置し、学習済みの特定の物体識別を行うデモンストレーションを行う予定です。皆様お気軽に富士ソフトブースへお立ち寄りください！
◆・Stereo Vision IP Suiteを搭載した評価キット・◆
富士ソフトでは、高度なステレオカメラ技術を実現したStereo Vision IP Suiteの動作を評価、検証するステレオビジョン評価キットもご用意しています！
インテル® Cyclone® V SoCの評価ボード、および500万画素のCMOSステレオカメラとStereo Vision IP Suite評価版がセットになったオールインワンのキット製品。PC用のステレオ画像ビューワアプリも付属し、動作確認済みの環境でステレオビジョンをすぐに評価することができます。
多様な用途・仕様に合わせたカスタマイズにも対応可能です。
＜仕様＞
・評価ボード：Terasic製DE1-SoC Board
・カメラ：Terasic製 TRDB-D5M Camera module
・基線長：100 mm, 149 mm, 198 mm
・画像サイズ：1280 (H) x 720 (V)
・フレームレート：30 fps
・視野角：約42°
・視差探索範囲：256 pixels
個別相談も承っております。下記よりお申し込みください。
