KUMICO

COLUMN

【Alveoシリーズ第2回】NoLoad SmartSSDを使ってみた②

はじめに

前回は、Eideticom社のNoLoad® SmartSSD® Computational Storage Drive (CSD)(以下、NoLoad)の評価版を、Samsung社 SmartSSD® CSD (Computational Storage Drive)(以下、SmartSSD)に適用した構成に対し、圧縮率とディスクI/Oの測定を行いました。今回は、実際に稼働しているインフラ環境のデータをNoLoad SmartSSDに蓄積して検証を行います。

検証内容

弊社インフラ環境で実際に稼働しているサーバーのsyslogをNoLoad SmartSSDに蓄積し、圧縮率を調査します。また、SmartSSDの容量は4TBですが、NoLoadによる圧縮が加わることで、どの程度の量のsyslogを蓄積可能なのか確認します。

設置

NoLoad SmartSSDを搭載したサーバーを、弊社インフラ環境のサーバーと同じネットワークに接続し、インフラ環境サーバーから送信されるsyslogをrsyslogで受信して、NoLoad SmartSSDに蓄積しました。1日分のsyslogのサイズが数十GBになると予想される為、年、月、日毎のディレクトリを作成し、その中に1時間単位でファイルを保存しています。

検証結果

圧縮率

年月日ディレクトリに蓄積された、圧縮前のデータサイズと、実際に保存されたファイルのサイズは以下の通りです。

  • 圧縮前データサイズ

$ sudo du -s -b ~~~~/2021/*/*
31503097805      ~~~~/2021/09/29
63121989668      ~~~~/2021/09/30
62549961006      ~~~~/2021/10/01
33036200844      ~~~~/2021/10/02
20724217341      ~~~~/2021/10/03
51026897230      ~~~~/2021/10/04
60109981738      ~~~~/2021/10/05
60136317001      ~~~~/2021/10/06
59854243298      ~~~~/2021/10/07
59565112404      ~~~~/2021/10/08
32081889962      ~~~~/2021/10/09
19706150995      ~~~~/2021/10/10
20792803126      ~~~~/2021/10/11

  • 実際に保存されたファイルサイズ

$ sudo du -s -B1 ~~~~/2021/*/*
3354742784      ~~~~/2021/09/29
6682349568      ~~~~/2021/09/30
6614536192      ~~~~/2021/10/01
3332362240      ~~~~/2021/10/02
1961492480      ~~~~/2021/10/03
5310410752      ~~~~/2021/10/04
6332325888      ~~~~/2021/10/05
6353002496      ~~~~/2021/10/06
6326849536      ~~~~/2021/10/07
6275964928      ~~~~/2021/10/08
3226353664      ~~~~/2021/10/09
1857826816      ~~~~/2021/10/10
2115686400      ~~~~/2021/10/11

各日毎のsyslogが約10%前後に圧縮されています。全体では10.40%に圧縮されていました。前回、主に日本語で構成されたデータを圧縮した時は、約35%(gzipコマンドは31%)程度の圧縮率でしたが、データの内容によってはかなり高い圧縮効果を期待できそうです。

syslog蓄積可能日数

syslog蓄積前と蓄積後のディスク使用率は以下の通りです。

  • syslog蓄積前

$ df .
Filesystem    1K-blocks Used Available Use% Mounted on
/mnt/nvme    3690815680 90144 3503172240 1% /opt/upper

  • syslog蓄積後

Filesystem    1K-blocks Used Available Use% Mounted on
/mnt/nvme    3690815680 58433828 3444828556 2% /opt/upper

今回、13日間のsyslogを蓄積しました。単純計算ですが、約800日間のsyslogを蓄積可能という結果になります。

おわりに

今回、NoLoad SmartSSDにsyslogを蓄積しましたが、圧縮率10.40%というかなり高い圧縮効果がでました。一般的に圧縮効果が高いデータを大量に扱うアプリケーションは、NoLoad SmartSSDの導入を検討する余地があるかもしれません。特にビッグデータを取り扱うデータベースサーバーは導入効果がありそうです。IOT関連で各種センサーが取得したデータ、POSシステムの売り上げ記録、SNSの投稿、工場の稼働記録、自動車の走行記録などなど、分析・加工前の1次データを大量に蓄積するケースでNoLoad SmartSSDを使用するとよいかもしれません。

Xilinx社の製品はこちら

個別相談も承っております。下記よりお申し込みください。

個別相談会申し込み

関連記事

まこちゃんブログ

NEWS

MORE  

PARTNER

  • Intel
  • Xilinx

お探しの組み込み製品はキーワードで検索!