インテル社が「OpenVINO™ツールキット2020」をリリース

「OpenVINO™ツールキット2020」のリリースにより、エッジからクラウドに展開された高性能、AI、および深層学習の推論によるアプリケーションの高速化が実現できる。

「AI開発は誰でもできる」・・・電機大手を難局に陥れるオープン化の波（出典：ニュースイッチ）

弊社執行役員の八木とエンベデッドプロダクト事業推進部商品開発室長の薬師寺のコメントが出ています。AIは高度化とコモディティ化の両方に進んでいますが、すぐ事業に取り入れようとする会社は「今のAIでできること」から用途を考えるので、コモディティ化したAIの方が需要が大きいという現実があります。
その意味ではAIがシステムインテグレーションの1カテゴリでしかなくなることを見越して「AIがわかるSIer」を目指すのがビジネス的に正しいのですが、本コラムの中の人としては、その方向で進めば進むほどAIの面白みが少なくなって寂しいという気もしています。

一般販売間近のNVIDIA Jetson Nano情報です。

SSD, Classification, Segmentation, Pose Estimation, Super Resolution, Tiny YOLO v3のサンプルコードを動かすドキュメントがNVIDIAで公開中

Deep Learning Inference Benchmarking Instructions
https://devtalk.nvidia.com/default/topic/1050377/jetson-nano/deep-learning-inference-benchmarking-instructions/

そのベンチマーク結果は以下のページに
https://devblogs.nvidia.com/jetson-nano-ai-computing/

ちなみに、5V 2.5AのUSB電源の要求に、5V 2.4Aの一般的なスマホ用電源だと、推論動かすと落ちます。2.5A以上出る電源を用意しましょう。

CPUのみで高速学習、組み込みAIを低コストで実現（出典：EE Times Japan）

ディープインサイト社のKAIBERの学習エンジンをXeon向けに最適化して、GPUがなくても高速学習可能にしたとのこと。詳細不明ですが、画像ではなく時系列データの深層学習の場合は、学習時の並列度は画像ほど高く出来ないはずで、CPUの最適化が効く領域かと思われます。これで画像の深層学習もCPUだけで実用的な速度が出せれば画期的です。

名刺大FPGA開発ボード「Ultra96」は3万円、推論アルゴリズムの実装も容易に（出典：MONOist）

Jetson Nano対抗にしても、このクラスのFPGAが載っている開発キットしては確かに破格。これまでのZynq UltraScale+ MPSoCのボードの半額ぐらいですね。

付属のDEEPHi DNNDKは、Jetsonで言うところのTensorRTで、枝刈りや量子化を行ってネットワークを小さくしてFPGAに実装するツールのようです。

FPGAによるエッジAIは根強いニーズがありながら、高価格FPGAデバイスが必要だったり、FPGA専用のネットワークで学習しないとうまく実装できなかったりしましたが、低価格デバイスで、既存のネットワークをユーザーが簡単に実装できるということであれば、非常に魅力的な選択肢になりそうです。

Pythonと機械学習ができること 画像認識を工場の事例で試してみた

> 「機械学習を使った画像認識」+「ラダー・PLCで動く工場の機器」を連携させてみました。

エッジAI（クラス分類）を実用化（RasPiでPLC制御）する手順を見せてくれる貴重な記事。エッジAI推論にEdge TPU（USB版）を使っているのもポイント高いです。

ハードウェア構築言語 Chisel がアツい（かもしれない）（出典：Hatena Blog）

GoogleのEdge TPUの論理回路がChiselという言語で開発されたという内容。AIとは直接関係ない話なんですが、FPGAやASICの論理設計といえば、もう20年前からずっとVerilog-HDLかVHDLという言語と相場が決まっていたもので、Chiselが使われたということは（ごく一部では）驚きをもって迎えられています。

もちろんC言語およびその派生言語による高位合成の使用率は徐々に高まっていましたが、高位合成元年と何度も言われながらもなかなか普及していない状況です。

それが、AIというアプリケーションをターゲットにした今、急に高位合成やChisel（Chiselは高位合成ではなく「ハードウェア構築言語」らしいですが）といったHDL以外の言語による設計が脚光を浴びてきたように思います。DeepLearningのFrameworkでPythonが一躍メジャーになったのと似てますね。

Chiselについては私も詳しくないので紹介先のblogにおまかせするとして、AI開発で高位合成が使われるようになったのは以下の理由が想定されます。
・AIは進歩が激しく、開発サイクルも早くなるため、実装に高い生産性が必要
・ニューラルネットワークはブラックボックスのため、ソフトウェアベースのモデル開発から一気にHW化する手法が馴染みやすい
・ニューラルネットワークの演算は高位合成で実現しやすく、HDL実装に比べてもパフォーマンス・実装効率が遜色ない

新しいアプリケーションが開発手法を変えていくというのは、ハードウェア開発の現場ではあまり無いことなので、興味深いところです。

Google、推論特化のエッジデバイス向けASIC「Edge TPU」を販売開始（出典：エルミタージュ秋葉原）

開発ボードが149.99ドル（約1万6700円）
USBアクセラレータが75ドル（約8300円）
カメラが24.99ドル（約2800円）

USBアクセラレータタイプを入手した方からのレポートがTwitterなどで見られますが、下馬評通りかなり高いパフォーマンスのようです。価格から考えると今のところエッジAIチップで最強ではないかと。

以下、レポートまとめ

→ハードウェア構築言語 Chisel がアツい（かもしれない）
http://bonotake.hatenablog.com/entry/2019/03/08/081016
によると、Raspberry Pi 3 Model B v1.2 + Edge TPU USB版で、Mobilenet v2 1.0 224x224 ImageNetが10ms

→RaspberryPi3(USB2.0)とLaptopPC(USB3.1)でGoogle Edge TPU Acceleratorを使用してMobileNet-SSD v2の動作スピードを検証してみました（MS-COCO）
https://qiita.com/PINTO/items/dd6ba67643bdd3a0e595
によると、MobileNet-SSD v2 + Core i7 + USB 3.1 + TPU + Async mode (非同期マルチプロセス処理)で12 ms から 15 ms

→このTweetによると
https://twitter.com/MikaelGueck/status/1103729090375401473
mobilenet_ssd_v2_face_quant_postprocess_edgetpu.tflite が 8ms（詳細不明）

エッジコンピューティング調査 – 動機と分類

エッジAIはもちろんエッジコンピューティングの中の1要素でしか無いのですが、そのエッジコンピューティングが、何を目的に、どういう手法で行われるのかの概略を分類した良記事。IoTは言葉の定義でモヤモヤしやすいので、こういう記事は概念を揃えるためにもありがたいですね。

演算量を90％減、エッジで画像生成・認識できるAIを三菱電機が開発（出典：MONOist）

GAN（敵対的生成ネットワーク）の計算量を減らす手法を開発。組み込みデバイスやエッジ上で動作させることを狙う。
Object Detection や Semantic Segmentation が、それなりのアクセラレーターを積んだエッジデバイスでも実現可能になった今、次のトレンドはGANになりそうです。当面の需要は、この記事にもある通り学習データセットの生成ですが、エッジや組み込みでも動作するようになって現場で画像を生成することができるようになると、色々と面白いことができそうです。

それにしても、軽量化の手法が枝刈りではなく隠れ層をバッサリ間引くとは、大胆な手法です。

リコー、GBDTモデル学習回路アーキテクチャ開発（出典：EE Times Japan）

DeepLearningではないけど古くから非常にメジャーな機械学習アルゴリズム・勾配ブースティングをFPGAでアクセラレートしたという論文。
モデル学習の処理は26～259倍、電力効率はCPU／GPU利用時に比べ90～1105倍だが、予測精度はソフトウェアライブラリーで学習したモデルと同等とのこと。
DeepLearningの学習をエッジデバイスで行うのはまだまだ非現実的だけど、DeepLearningではない、決定木アルゴリズムなら実装可能ということで、今後は様々な「エッジ学習可能なAIチップ」が登場しそうです。

マイコンへのAI実装と開発をサポートするツールセットを発表（出典：MONOist）

学習済みニューラルネットワークを、STM32マイコン上で実行可能なC言語コードに変換し、最適なライブラリ関数を呼び出せる。アクセラレータも付いていない32bitマイコンなので、もちろん画像なんかではくセンサデータや音などがターゲット。将来的にはセンサ基板そのものがインテリジェント化して、生データや正規化されたデータに加えて、センサの特性に合ったリアルタイムな推論結果も取得できるようになりそう。組込みシステムでは分散処理は必ずしも正しいわけではありませんが、選択肢が広がることは良いことです。

2019年におけるAIの動向はどうなるのか（出典：EE Times Japan）

これも年初展望記事。
・推論向けのベンチマークが必要に
・“AIソフトウェアプラットフォーム”が過剰に？
つまり、推論デバイスがメジャー化して玉石混交から淘汰が始まる年でもあるということでしょう。

組み込みAIは必要不可欠な技術へ、推論に加えて学習も視野に（出典：MONOist）

これも年初展望記事。『2019年からは、組み込み機器を開発する上で、組み込みAIは当たり前の存在になっていきそうだ。』ということで、NVIDIAのJetson、IntelのOpenVINO、QualcommのSoC、FPGA、AI専用チップについて昨年度のおさらいと今年度の展望をまとめてあります。

そして「組み込みAIで学習」に注目しています。まだ深層学習を組み込みで学習できる手段は技術的には不可能ですが、ニーズが高いことは弊社でも感じています。当面の解決方法は、エッジAIに強力なGPUサーバを使う以外に、軽量なエッジAIとサーバ側AI（またはクラウドAI）との連携によるハイブリッドAIなどが考えられます。

2019年も大注目！　出そろい始めた「エッジAIプロセッサ」の現在地とこれから（出典：EE Times Japan）

「図1：AIプロセッシングを実行する演算器の関係」がわかりやすいですね。FPGAは書かれていませんが、位置づけとしてはDSPの位置と同じか、さらに下側に来ると思われます。

ただ、本記事では、スマホ用SoCなど組み込みSIerや個人では入手可能ではないデバイスも含まれており、工場などのカスタム需要が高く少量多品種が求められる現場では、やはりRasPi、NVIDIA JetsonシリーズやPCベースのエッジデバイスの需要が高いのではと思われます。

LOVEをはぐくむロボット「LOVOT」は先端技術満載、デザインは根津孝太氏（出典：MONOist）

メインボードはIntel Core i5 8000シリーズ、サブボードはXilinx Zynq Ultrascale+ MPSoCを搭載し、Zynq側でDeepLearningによる顔認証を行っているとのこと。
私の知る限り、コンシューマー向け量産製品でFPGAによるエッジAIを搭載した製品、さらにはここまで強力なFPGAを搭載した製品としても、これが初めてだと思います。本体が初期費60万円＋月額1～2万円、消費電力50Wというスペックだから実現できたと言えます。ロボット全体が人肌温度ということなので、GPUではなくFPGA採用の理由はおそらく発熱だと思われます。

高速・省エネルギーのディープラーニング専用プロセッサの開発

FPGAのディープラーニングでは、層ごとに量子化のbit数を変えて全体の精度低下を抑えるのはすでに各社手がけていますが、ネットワークごとにbit数を変えてさらに最適化するという技術を東芝メモリ社が開発。推論器の説明は掲載されていますが、学習はどうするのか。量子化bit数を決める学習と、量子化bit数に近似した重みを算出する学習の2段階なのか。ぜひ試してみたい。

グーグルはなぜ「オンデバイスAI」を志向するのか【出典：MONOist】

エッジAIの最大の問題は、エッジではあくまで推論専用で、学習はサーバーやクラウド環境で実行されるもの、という割り切りが必要なことです。EP部ではそれをハイブリッドAIというエッジAI-クラウドAI一体型のシステムで解決する構想があります。

本記事では、オンデバイスAI（という新語がエッジAIや組み込みAIとどう違うのか不明）の次のステップは、デバイスのみで学習も含め完結することで、そのためにフェデレーションラーニング（Federated Learning）という手法を紹介しています。これはデバイスが休止しているときに学習を行い、それを他のデバイスにも共有する仕組みのようです。エッジのハードウェアの非力さを、時間とクラスタリングで解決する方向ですが、これは産業機器にも応用できそうです。

Xilinx、新カテゴリ「ACAP」の第1弾「Versal」を発表【マイナビニュース】

Xilinx社の新FPGA、ではなく新カテゴリのチップシリーズACAP(Adaptive Compute Acceleration Platform)をリリース。中身はZynq UltraScale+ MPSoCの進化系ではあるけど、高速なCPUと強力な周辺ユニットの統合で多機能チップとしての性格を強め、FPGAはすでに機能の一部でしかない形になりつつある。

その強力な周辺ユニットの一つがAI Engineで、従来ならFPGA部で実現していたAI機能を、専用のユニットにしている。ただし、ハードIPで実現している他社のSoCのAIアクセアレーターに比べて、よりFPGA的なコンフィギュレーションが可能になっているようで、C/C++の高位合成に近い感じでAIが設計できるようになる模様。
https://news.mynavi.jp/article/20181023-709201/

そして、それなりに高価なチップになることが予想されるものの、非常に多機能で高速処理を実現できそうなチップであり、@Vengineerさんの仰る通り、このチップを使いこなすには相当マルチなスキルが必要。すごい時代になってきた。
https://blogs.yahoo.co.jp/verification_engineer/71720199.html

Arm MLプロセッサ、明らかになったその中身【出典：EE Times Japan】

ARM純正のDNNアクセラレータについての詳細記事。
最新のスマホでは、各社独自のDNNアクセラレーターをSoCに実装しているが、ARM自身が対応する意味は大きい。スマホ以外の組み込み機器への搭載も進むと思われるので、エッジAIの本命の一つと考えられる。
ただ、記事を読み限りでは、やはりこれはCPUありきのアクセラレーターであり、単体で動くわけではなく、計算を制御するCPUや命令群、つまりコンパイラ性能やソフトウェアスタックに性能や使い勝手が大きく依存しそう。スマホ開発では当然そういう技術ノウハウは培っているだろうけど、一般的な組み込み開発では、かなり開発ツールがこなれてこないと、このハードルはかなり高いのではないか。

Omnitek社のDPU、FPGA上で最高性能のCNNを実証

超ハイエンドチップによる超速処理のCNN IP-Coreのようです。
　・Xilinx®Virtex®UltraScale +™XCVU9P-3で5,300fps
　・TensorFlowなどの標準フレームワークを使用
　・C/C++やPythonによる完全なSW制御が可能で、FPGA設計の専門知識は不要

一方、こちらはローエンドFPGAであるLattice用のCNNアクセラレータIP
https://news.mynavi.jp/article/20181012-705307/
　・軽量FPGAのiCE40 UltraPlus向けは従来は1bitだけだったが、新たに6bit（！）の量子化にも対応
　・中規模FPGAのECP 5向けは、DRAMのメモリ帯域幅を従来の16bit幅から32bit幅に拡大

6bitって何でしょう？Intel FPGAの12bit精度と同じく、DSPの仕様上の最適bit長でしょうか。

低コストFPGAで深層学習、コア技術をオープンソース化したベンチャーの狙い【出典：MONOist】

LeapMind社が開発してきたFPGA向けのディープラーニングのソフトウェアスタックをBlueoilの名でオープンソース化するという驚きの発表がありました。

これまで、ローエンドFPGA向けのオープンソースなニューラルネットワークは、東工大の中原准教授のGUINNESSや、PINK-Z1向けのBNN-PYNQがありますが、いずれもXilinx FPGA向けのものでした。数少ないIntel FPGAのローエンド向けニューラルネットワークという意味でも興味深いです。

同社が5月に発表した物体検知のニューラルネットワークもこオープンソースに含まれるかどうかわかりませんが、いずれは含まれるだろうとは思いますし、それが対応してからが本当の使い所かと思われます。

TensorFlow Lite を マイコンで動かす

@Vengineerさんの記事で、TensorFlowのr1.12 のブランチでCortex-MクラスのマイコンでTensorFlow Liteが動くマイコン向けコードが追加されていたことが紹介されています。

READMEを読むと、以下の特徴があるようです。処理速度のことは特に記載なしです。
・C++用だけどCっぽい機能しか使ってないので移植も簡単（公開されてるのはBlue Pill STM32F103互換開発ボード）
・ベアメタルで動く（OS不要）
・モデルデータはファイルではなく連続したデータ型配列の形でFlashROMに格納されているものを読み込む
・サンプルのスピーチキーワード検出モデルの実行に必要な容量は合計22KB

深層学習を使わない軽量AIを搭載したFPGAを開発へ【出典：MONOist】

HACARUS-Xは、深層学習を使わず、少ないデータから特徴を抽出するスパースモデリング技術と機械学習を組み合わせた軽量AIパッケージです。オフラインのデバイス上でも動作するようです。
軽量AIの詳細不明ですが、時系列データの多変量解析だけじゃなく映像の動体検知までやってるようです。
使用デバイスがZynq UltraScale+ MPSoCなので、軽量と言いつつもかなり高価なエッジデバイスが必要なようなので、DeepLearningとの棲み分けは学習をエッジでできるかどうかがポイントになるかと。
ベースとなる理論、精度、処理時間、汎化性能など知りたいところです。

なぜインテルはコンピュータビジョンに注力するのか、エッジへの分散処理が鍵に【出典：MONOist】

コンピュータビジョンに関わる市場が急成長している
・コンピュータビジョン市場規模が2023年までに173億8000万米ドルに
・ディープラーニング関連の売上高が2016年の6億5500万米ドルから2025年に350億米ドルに
・動画解析の市場規模が2022年までに111億7000万米ドルに
・要因は監視カメラなどのアナログからデジタルへの移行

エッジに拘る理由は
・IoT導入時の制約の45％がネットワーク
・クラウドで学習してエッジで推論を行うことが当たり前に（分散型アーキテクチャ）
・クラウドからエッジに至るまでの幅広い製品ポートフォリオを有している

OpenVINOの特徴
・100以上のディープラーニング開発用のフレームワークをサポート
・Intelプロセッサ、FPGA、MobidiusのVPUでの推論を生成可能（さすがにNVIDIAのGPUは非対応）
・オープンソースで無償

FPGAを活用したエッジAIソリューションの協業で合意【出典：MONOist】

DMP社の「ZIA」はPCレスのスタンドアローンで動作する推論IPで、現状、FPGA単独で動作する推論エンジンとしては非常に高速で様々なニューラルネットにも対応できる汎用性もあります。
本来はASIC用のIPの研究開発を行っている会社なので、FPGA対応でもIntel・Xilinx両者に対応しています。リソースサイズもそれなりに大きいようで、Arria 10 GXやZynq UltraScale＋ MPSoCの大きめのFPGAをターゲットにしているようです。

安価な組み込みAIを世界へ！ Ideinが「高火力」を選んだ理由【出典：ASCII.jp】

少し前に、ラズパイで高速な物体認識のデモを行って話題になったIdein社が、エッジAIの学習用にさくらインターネットの高火力コンピューティングを使っているというPR記事です。エッジAIといえど学習は一般的なGPUサーバを使い、学習フレームワークさえ使えれば、どこのオープンクラウドでも良い（安くて安定していればもっと良い）というわけです。

エッジAIを安価・高速に、FPGAを駆使するベンチャー（出典：EE Times Japan）

AIチップの過去・現在・未来（出典：EE Times Japan）

AIチップと言えどAI部分以外は通常の高性能SoCなので、そういうところもちゃんと作れないといけないという、LSI屋さんの記事です。

クラウドから「エッジ」に動くＩＴの巨人（出典：日本経済新聞）

エッジコンピューティングにAmazonやMS、Googleなどが参入し、次の主戦場になるという解説記事。フォグコンピューティングについても説明あり。

2年前から、EP部ではエッジコンピューティングとそれを内包するフォグコンピューティングに注目し、それを実現できる機器としてIoTフォグコンピューティングゲートウェイ(仮称)を開発、そのアプリケーションとしてFPGAで高速動作するFPGAエッジAIを研究してきました。
やっと時代が追いついてきた感がありますが、追いつかれそうないなや、IT界の巨人たちに掻っ攫われそうな勢いですね。その大波が来る前に、なんとか深い根を這わせていきたいところです。

アクセルがエッジ側推論に特化したディープラーニング・フレームワーク「AILIA」を発表

エッジ(端末)側での推論に特化したディープラーニングフレームワークSDKで、Windows/Mac/iOS/Androidのプラットフォームとともに、自社製品組み込みにも対応し、FPGAにも対応予定。
様々な学習済みモデルをダウンロードでき、Unity pluginが用意されているところがユニークです。

急成長と共にASIC/SoC化が進むマシンラーニング・チップ市場【出典：EDA Express】

現時点のディープラーニング用チップの主役はGPUですが、ASIC/SoCが急成長して過半数となる予想。これから大きくなるエッジAI市場では特にその傾向が強くなるのではと考えています。

AIカメラ自作キット「Google AIY Vision Kit」の紹介

「Google AIY Vision Kit」が購入者のところへ届き始めているようです（こういうキットは最初は全世界的に品薄です）。

内容は、メインプロセッサとしてRaspberry Pi Zero、推論処理用にVisionBonnetというボードが入っていて、これらとRasPi Cameraを接続して、ダンボール製の箱に入れてスタンドアローンで物体認識ができるようになります（表情認識以外の機能を使うには、表示用に外部モニタ、設定用にPCが必要）。

VisionBonnetにはMobidiusのAIチップが搭載されているので、実装可能なネットワークや性能はMovidius Neural Compute Stickと同様と思われます。
付属の学習済みネットワークは「1000種類のオブジェクトを認識」「映像から表情を検出し、喜びの度合いを評価」「イヌ・ネコ・人間の識別」の3種類。MobidiusのSDKを使ってカスタマイズできそうです。

(Zeroではない)Raspberry PiとMovidius Neural Compute Stickの組み合わせよりも、コンパクトで安く同じことができるので、個人ユーザーも入手可能で、現実的な用途で使えるエッジAIとしては最も安価ではないかと思います。

AIチップ総論：NVIDIAが先行、グーグル・インテル・中国勢が追従、日本の勝機は？【出典：ビジネス＋IT/有料記事】

エッジ向けもクラウド向けも、GPUもASICもスマホ用SoCも含めて「AIチップ」で統括した総論記事。ベンチャーと中国ベンダが頑張ってるという内容です。

より良い機械学習のためのアノテーションの機械学習

Google、推論に特化したエッジ向けTPU「Edge TPU」をIoT向けに外販へ – クラウド Watch（出典：クラウドWatch）

ついにエッジ用DLアクセラレーターの本命登場。

・推論専用
・超低消費電力（4TOPS/2W）
・2018年秋に出荷予定
・NXPのSoC、Wi-Fi、セキュアエレメントを統合したSOMとして販売（量産時もSOMで供給）
・ベースボード（キャリアボード）も同時発売
・TensorFlow Liteで開発（ランタイムが適切な演算ハードウェアを選択するらしい）

なお、他のデバイスの計算能力と消費電力はこんな感じ
ASIC(Movidius Myriad2) : 100GFLOPS/W
GPU(NVIDIA Tegra X2) : 600GFLOPS/15W
FPGA(Arria 10 GX 1150KLE) : 1,366GFLOPS/30W

TOPSとFLOPSを比較するのは厳密ではないけど、だいたい同じもの考えると、ワットあたりの消費電力はGPUやFPGAより2桁上ということになります。本当ならすごい。

人工知能ニュース：エッジAIに対応した高性能画像認識システムを開発（出典：MONOist）

「これまで判別が難しかった微細な傷を分類したり、青果物の選別項目を増加したりできるようになる。」とのことで、自分たちのプロモーション活動の中でも、これらのユースケースが工場向けエッジAIの代表的なテーマになっている実感があります。なお、この製品自体にはAI関連ソフトウェアは搭載しておらず、AI実行可能なハードウェアプラットフォームという位置づけの模様。
・CPU ARM Cortex-A15(1.4GHz) Quad Core
・画像処理/認識 画像認識アクセラレータ(390MHz) Quad Core
・CameraLink 4CH

中国General Processor Technologiesのエッジ向けAIアクセラレータ「GPT」

AIアクセラレータ「GPT」はCNN推論用に設計されたコンフィギュラブルIPで、コンボリューション、プーリング、ドロップアウト、パディングおよびプログラム可能なアクティベーション機能を提供。精度は、組み込み整数データ型または16ビット浮動小数点演算を使用。FPGAではなくSoC向けのIPで、Optimum Semiconductor社のSoC「GP8300」に搭載される予定。

深層学習のFPGA評価キット、LeapMindがモデル作成サービスの契約者向けに提供（出典：BEST OF INFLUENCER）

LeapMind社が4月に開始したWebベースの深層学習サービス「DeLTA-Lite」で生成される推論器はx86用実行ファイルとFPGA用バイナリですが、そのFPGA用バイナリを実行できるFPGAボードとカメラもセット販売するようです。FPGAボードはTerasicのDE10-nanoで、推論結果の表示には別途Ethernet経由で映像受信可能なデバイス（PCとかRasPi）が必要と思われます。

MS ExcelやWordにAI機能を今秋追加！マイクロソフトがIoTを睨んだエッジAIに注力！FPGA「BrainWave」とは?「DLLAB DAY 2018」（出典：ロボスタ）

Project BrainWaveはサーバー向けの機械学習アクセラレーションのソリューションで、GoogleのTPU対抗（TPUの5倍早いらしい）という位置づけですが、『今後、「BrainWave」はクラウドはもとより、エッジデバイスにも導入していくことを示唆した。榊原氏はおそらく年内には「BrainWave」の機構を取り入れたデバイスのプレビュー版が出せるのではないか、と展望を語った。』とのことで、エッジ向けに何らかのデバイス（たぶんミドルクラスのFPGA）に展開する模様。

【DAC2018】FlexLogixがディープラーニング向けの組込み型FPGAコア「EFLX4K AI」を発表

FlexLogixは「eFPGA」という組み込み型FPGAコアを販売しており、「EFLX4K AI」はそのAI実装向けバリエーション。ややこしいですが、「FPGA用のIPコア」ではなく「SoCにFPGA機能を搭載するためのSoC用IPコア」です。

NEDOらがアナログ抵抗変化素子を用いた超ローパワーエッジ向けAI回路を開発

深層学習のベクトル積和演算をアナログ回路で行うAIチップを開発している会社は何社かあって、確かに消費電力は下がるけど速度が早くならない（アナログなので状態変化に一定の時間がかかる）うえに、DACとADCも必要なのでチップもあまり小型化できない、という話を聞きました。今回の発表は、そのへんの課題をある程度クリアできたのかもしれません。

エッジAIに限った話ではないですが、機械学習用データセットのまとめのまとめ

機械学習を行う際に利用可能なデータセットについてまとめています。
https://github.com/arXivTimes/arXivTimes/tree/master/datasets

【23個掲載】機械学習で使えるデータセット一挙勢揃い！
https://www.codexa.net/ml-dataset-list/

Googleの世界最大の画像データセット「Open Images v4」の概要や使い方のまとめ
https://www.codexa.net/open-images-v4-overview/

上海交通大学のXiaming Chenさんのまとめ
https://github.com/awesomedata/awesome-public-datasets#image-processing

Semantic Segmentation用データセット
https://github.com/mrgloom/awesome-semantic-segmentation#datasets

AWS Summit Tokyo 2018でみかけたクラウド＋エッジAI

(1) AWS社のエリアでJetson展示
AWS Greengrassを実装したJetson（NVIDIAの組み込みGPUボード）を推論ハードウェアとしたシステム。AWSのSageMakerでTX1用のモデルを学習させ、Greengrassを使って学習済モデルをJetsonにデプロイ。Jetsonでは3種類のミニカーの車種を検出する物体検知(YOLO?)が動いていました。

(2)IntelブースでFPGA AI展示
IEI社の産業用PCに同社製Arria 10 GX FPGAボードを組み込んだエッジ向けのAI環境で、Tiny YOLOを動かしていました。こちらもPCにはCentOSにGreengrassを組み込んであり、サーバーでの学習結果を取り込むとともに、推論結果をAWSで表示するデモになっていました。

IEI社のPCはこれ↓で、今後、販売時のモデルにFPGAボード内蔵のものが用意される模様
https://www.ieiworld.com/jp/product/model.php?II=525

内蔵されるFPGAボードも、既存のインテル® Arria® 10 SoCボードより小型（ショートサイズ、ロープロファイル対応）で、価格もかなり安くなるエッジ向け商品になるそうです。

Latticeがエッジ向けのAI組み込みFPGAキット「Lattice sensAI」を発表

対応プラットフォームはECP5ボードとiCE40 UltraPlusボード
もちろん2値化CNNで、リファレンスデザインは
　- 顔検出
　- キーフレーズ検出
　- オブジェクトカウント
　- 顔追跡および速度標識検出

VengineerさんがLattice FPGA用のNNアクセラレータIPと開発環境を読み解いていらっしゃいます。
https://blogs.yahoo.co.jp/verification_engineer/71582757.html

Caffeの場合は.protoと.caffemodelを、TensorFlowの場合は.pbを入力として、Neural Network Compilerにて、Neural Networkの命令および量子化されたウェイト(たぶん、ファイル)を生成し、その生成したファイル( .lscml / ,bin )をFPGAの内部RAMにロードする。

CNN : Ubuntu,Windowsで動作、TensorFlow/Caffe共にサポート
BNN : Ubuntuのみ動作、Caffeのみサポート

ついにシェア第3位のFPGAベンダも動き出しましたね。

PFNとDeNAのICLR2018の読み会

3部に分かれている中の1件目がモデル軽量化の話題。かなりまとまっていて、トレンド追うのに非常に良い。

Armが機械学習専用プロセッサ「Arm ML」を投入へ（出典：Impress Watch）

・CNNの画像認識に適したアーキテクチャを取っているが、RNNやLSTMなどほかのネットワークモデルにも対応できる柔軟性を持つ
・電力効率を上げるため、データ精度はINT8のみとしており、浮動小数点演算はサポートしない
・プルーニング(Pruning:剪定)にハードウェアで対応
・2018年中盤にRTLの提供開始、チップの登場は2019年の見込み
・Object Detection専用のプロセッサも別途リリース（Full HDの60フレームの動画の中の群衆から、リアルタイムで個々の顔部分を検知するといった処理が可能）

学習画像/動画作成用アノテーションツールを調べてみた

アノテーションツール6種を紹介している記事です。

電気通信大学とオープンストリーム、 FPGAによるAIエッジコンピューティング技術の実証実験を行い、論文を発表

論文の概略は、integerで構成されたDCGANを、上位層から順に2値化していき、どこまで2値化すれば精度が保てるか、という内容です。
結論としては、一番最後のDeconv2Dが一番インパクトが大きいので、それ以外は、2値化しても実用的な精度は保てるとのこと。

＜参考資料＞
・電通大のプレスリリース
http://www.uec.ac.jp/news/announcement/2018/20180403_922.html
・電通大の論文
https://arxiv.org/abs/1803.10930

AIの導入で失敗、ありがちな4パターン（出典：日経TECH/有料記事）

AI導入で失敗する4つの典型例
(1)見切り発車
(2)深層学習信奉
(3)構築を丸投げ
(4)作って満足

IoTのときも同じようなこと言われていましたね。

クラウディアン株式会社、エッジコンピューティングを実現するデバイス「CLOUDIAN AI BOX」の開発を発表（出典：ログミー）

クラウディアン社ではもともとローカルストレージを作っていた。
AIを使ったデジタルサイネージ、AIによる交通量測定の実証実験をきっかけに、AI BOXを開発。

AI BOXの特長
・GPUはNVIDIAのJetson TX2
・PoEでカメラに給電可能
・HDMI出力有り
・LTE、Wi-Fi、128GSSD内蔵
・IP67対応、サージプロテクションあり（アウトドアモデル）
・動作温度
　　アウトドアモデル：-30～60℃
　　インドアモデル：-10～50℃
・サイズ
　　アウトドアモデル：210x367x83 4.31kg
　　インドアモデル：142x106x55 0.8kg
　　 (参考：Fog Gatewayは220x156x90)
・価格は不明

クロスコンパスやABEJAと協業
製造業からの引き合いが一番多い
クラウドを使えない工場には自社ストレージとの組み合わせで販売

加賀電子がMovidius Myriad2を乗せた小型のアクセラレータ販売

モジュールは機器内蔵用にM.2規格に対応。
USB接続のハブボードのセット販売も行う予定。

レグラスのAIカメラのPR記事。Xilinx社との対談形式。

DL推論器の実装については、
・推論器は（Xilinx社のreVISIONではなく）量子化版CNNをFPGA Fabric上に実装
・学習はChainerを用いてGPUクラウドサービスを使用

ターゲットとしては
・最大4つ迄イメージセンサーを接続でき、ステレオ測距や周囲360°撮影、多波長カメラ等としても使用可能
・建設、工事現場、工場等、安全監視が必要な業界
・誤報での出動が90％を占めるとも言われている警備会社からも高い関心

Google、機械学習をモバイルで処理するTensorFlow向け画像認識モデル「MobileNetV2」オープンソース公開。従来モデルより高速に

組み込み機器で深層学習を処理する場合、どうしても少ないハードウェアリソースで動くような設計を行う必要がある。
その場合、ネットワークを最適化して演算回数を減らすアプローチと、演算処理を実行デバイスに最適化して計算速度を上げるアプローチがある。MobileNetは前者のアプローチであり、特定のハードウェアに依存しない手法といえる。

ADAS/自動運転向けの物体検出CNNを１個のArmコア内蔵FPGAで実現、ザイリンクスが講演（出典：日経TECH/有料記事）

以下、実装手法の抜粋

デバイス：Zynq UltraScale+ EG(XCZU3EG)
データセット：Pascal Visual Object Classes
ネットワークモデル：Tincy YOLO(Tiny YOLOの独自改造版)
　以下の複数の技術を使って、精度低下なしに16fpsを実現
　（普通にARM Cortex-A53でTiny YOLOを動かした場合の160倍）

（1）CNNで処理するデータやパラメーターの量子化
　　入力層：8bit以上
　　隠れ層(12層)：重みは1bit、データは3bit
　　出力層：8bit以上

（2）FPGAファブリックの利用
　　量子化された畳み込み層の処理のオフロードに利用

（3）Cortex-A53が内蔵するSIMD演算器「NEON」の利用
　　入力層の高速化に寄与

（4）アルゴリズム的な工夫
　　入力層の次のmaxpool層の除去

（5）4つのCortex-A53を使った並列処理

なお、Tiny YOLOが「Darknet」フレームワークをベースに開発されており、CUDAプログラミングではないGPUであるMaliへの実装のうまみがないとのこと。

CNN部分は低精度で構わなのでFPGA、入力層と回帰部分は高精度必要なのでCPU(NEON)ということかと思われます。reVISIONもそうですが、Xilinx社はFPGAだけというより、SOC FPGAで総合的に速度を上げるアプローチ。このクラスのデバイスでも64bit ARMを搭載してるのが強いですね。

NVIDIA と Arm が提携、何十億台もの IoT デバイスにディープラーニングの導入を目指す（出典：CNET Japan）

ARMの機械学習用IPである「Project Trillium」にNVIDIAが協力するといった内容。
ARMのCPUコアとは切り離されたIPだとすると、すでに同様の機能を搭載したIP CoreやSoCが登場しており、ライバルは多い。NVISIAとしてはTX1/2よりこちらが本命ではないか？

LinaroからARMベースの組込AI開発キット発表

搭載しているプロセッサは、
(1) Hikey 970 : HiSilicon Kirin 970
(2) Ultra96 : Xlinix Zynq UltraScale+ MPSoC ZU3EG
(3) ROCK960 PRO & Enterprise Edition : Rockchip RK3399Pro

(1)(3)はスマホ用のSOCを搭載して、両方ともNPU（ニューラルネットワークのアクセラレータユニット）を搭載。(2)はXilinxのSoC FPGAで、こちらもFPGAをニューラルネットワークのアクセラレータとしての利用を想定。
いずれも4コアARMと豊富なペリフェラルのコントローラやグラフィックエンジンを内蔵しています。

LinaroはARM用の組込Linuxを開発しているグループなので、組込AI版のラズパイを目指しているように見えます。

＜製品詳細＞
https://www.96boards.ai/products/

ザイリンクスが7nmプロセスの新製品「ACAP」を投入、AI処理性能は20倍以上に（出典：MONOist）

AI向けを鮮明に明示した製品。Xilinx社として、AIはハイエンドFPGAという方向なのでしょうか。

組み込みAI開発、現場が渇望する「FPGA人材」（出典：日経TECH/有料記事）

確かにFPGA開発の人材は枯渇しているが、いろいろな会社を回っている感覚では、現時点では「組み込みAI向け」のFPGA人材はまだ需要も明確ではないのではないかと思う。
もう少し広く考えて「AIの実装を検討できる組み込みエンジニア」という観点であれば、
すぐに需要は拡大すると思われるので、それを想定した教育が必要。

2017/12/24発表のサーベイ「A Survey of FPGA Based Neural Network Accelerator」日本語抄訳

2017/12/24発表のサーベイ「A Survey of FPGA Based Neural Network Accelerator」の日本語抄訳をLeapMindの山田さんが公開されています。FPGA実装手法の概論です。

また、2017/12/23発表のサーベイ「A Survey of Model Compression and Acceleration for Deep Neural Networks」は、特にエッジ向けのモデル圧縮の手法についての手法を紹介しています。こちらも山田さん抄訳です。
http://cparch-mclearn.blogspot.jp/2017/12/a-survey-of-model-compression-and_30.html
http://cparch-mclearn.blogspot.jp/2018/01/a-survey-of-model-compression-and.html
http://cparch-mclearn.blogspot.jp/2018/01/a-survey-of-model-compression-and_8.html

いずれも推論器をFPGAに組み込む際の一般的手法が多数紹介されていますので、各種エッジAIプラットフォームの特長や欠点を把握するのに役立つかと思います。

ラズパイゼロで高速物体認識-Executing MobileNet on Raspberry Pi Zero-

・1000分類の物体認識
・ざっと測った感じでは2.5fps(1回あたり400ms)
・MobileNet_v1_1.0_224モデルを使用し、Googleの以前のGoogLeNetデモよりも正確で高速
・作者曰く、モデル上で数学的に同等の変換しか実行せず、FP32で実行するため、精度の低下はほとんどないとのこと

http://tech.nikkeibp.co.jp/atcl/nxt/event/18/00004/030100038/ （出典：日経xTECH）
こちらの記事によると、MobileNetをRasPi内臓のGPUでアクセラレーションして、GPUなしで0.17fps、GPUありで3.7fps (x21)出ているようです。
また、月額課金のIoT基盤サービス「Actcast」のモジュールとして提供するプランのようです。

人工知能ニュース：三菱電機の「コンパクトな人工知能」、FPGAへの実装も可能に（出典：MONOist）

実装方法や学習方法など不明ですが、枝刈りで小さくする手法のようです。

PFUからChainer対応のFPGA内蔵推論処理ボード

・産業用PC/コンピューターに挿す拡張ボード
・深層学習済みのニューラルネットワークは米Intel社のFPGA「Arria10 GX1150」に実装する。
・「AIというとGPUが話題に上ることが多いが、リアルタイム処理性能や低消費電力性、ボード寸法などを考慮した結果、FPGAを選んだ」
・標準のChainerはターゲットのハードウエアがMPUやGPUなので、FPGA実装向けのデータを出力する機能（ソフトウエア）はPFUが開発した。
・Deep Learningアクセラレータカードは2018年11月に出荷を開始する予定。FPGA向けデータ出力機能の付いた深層学習フレームワークや、サンプルのニューラルネットワーク（画像認識用）、サンプルのアプリケーションソフトウエア（画像認識）が付属する（いずれもホストの産業用PC/コンピューターのARシリーズ向け）。

展示会で聞いたところによると、アクセラレーターは独自実装したとのこと。ネットワークすべてをFPGAに入れるのではなく、ホストのChainerから関数単位でFPGAのアクセラレーションファンクションを呼び出す方式。

学習用か推論用か、深層学習用プロセッサを巡る戦略 – サーバー・プロセッサ バトルロイヤル2017：ITpro Active

どのHWアーキテクチャが、何に向いているのかが、具体的な製品名でまとめられていて、今後のエッジAIのアーキテクチャを予想する材料に。

自動運転技術：電子ミラーにディープラーニングを、100m後方から接近する車両を検出 　(出典：MONOist)

・カメラとディスプレイでサイドミラーを置きかえる電子ミラー向けに、100m離れた後側方の物体を深層学習（ディープラーニング）で検知する技術
・独自のディープラーニング「コンパクトな人工知能（AI）」を、ルネサス エレクトロニクスのSoC「R-Car H3」のCPUで動作
・従来、電子ミラー向けでは30m程度だった検出距離を100mまで拡大するとともに、検出精度を14％から81％に向上

単眼カメラの距離検出とDL物体検出をCPUで実装。フレームレートが気になるところですが、実用化しているとなると30fpsは出ているはず？