COLUMN
【Alveoシリーズ第2回】NoLoad SmartSSDを使ってみた②
はじめに
前回は、Eideticom社のNoLoad® SmartSSD® Computational Storage Drive (CSD)（以下、NoLoad）の評価版を、Samsung社 SmartSSD® CSD (Computational Storage Drive)（以下、SmartSSD）に適用した構成に対し、圧縮率とディスクI/Oの測定を行いました。今回は、実際に稼働しているインフラ環境のデータをNoLoad SmartSSDに蓄積して検証を行います。
検証内容
弊社インフラ環境で実際に稼働しているサーバーのsyslogをNoLoad SmartSSDに蓄積し、圧縮率を調査します。また、SmartSSDの容量は4TBですが、NoLoadによる圧縮が加わることで、どの程度の量のsyslogを蓄積可能なのか確認します。
設置
NoLoad SmartSSDを搭載したサーバーを、弊社インフラ環境のサーバーと同じネットワークに接続し、インフラ環境サーバーから送信されるsyslogをrsyslogで受信して、NoLoad SmartSSDに蓄積しました。1日分のsyslogのサイズが数十GBになると予想される為、年、月、日毎のディレクトリを作成し、その中に1時間単位でファイルを保存しています。
検証結果
圧縮率
年月日ディレクトリに蓄積された、圧縮前のデータサイズと、実際に保存されたファイルのサイズは以下の通りです。
-
圧縮前データサイズ
$ sudo du -s -b ～～～～/2021/*/*
31503097805 ～～～～/2021/09/29
63121989668 ～～～～/2021/09/30
62549961006 ～～～～/2021/10/01
33036200844 ～～～～/2021/10/02
20724217341 ～～～～/2021/10/03
51026897230 ～～～～/2021/10/04
60109981738 ～～～～/2021/10/05
60136317001 ～～～～/2021/10/06
59854243298 ～～～～/2021/10/07
59565112404 ～～～～/2021/10/08
32081889962 ～～～～/2021/10/09
19706150995 ～～～～/2021/10/10
20792803126 ～～～～/2021/10/11
-
実際に保存されたファイルサイズ
$ sudo du -s -B1 ～～～～/2021/*/*
3354742784 ～～～～/2021/09/29
6682349568 ～～～～/2021/09/30
6614536192 ～～～～/2021/10/01
3332362240 ～～～～/2021/10/02
1961492480 ～～～～/2021/10/03
5310410752 ～～～～/2021/10/04
6332325888 ～～～～/2021/10/05
6353002496 ～～～～/2021/10/06
6326849536 ～～～～/2021/10/07
6275964928 ～～～～/2021/10/08
3226353664 ～～～～/2021/10/09
1857826816 ～～～～/2021/10/10
2115686400 ～～～～/2021/10/11
各日毎のsyslogが約10%前後に圧縮されています。全体では10.40%に圧縮されていました。前回、主に日本語で構成されたデータを圧縮した時は、約35%（gzipコマンドは31%）程度の圧縮率でしたが、データの内容によってはかなり高い圧縮効果を期待できそうです。
syslog蓄積可能日数
syslog蓄積前と蓄積後のディスク使用率は以下の通りです。
-
syslog蓄積前
$ df .
Filesystem 1K-blocks Used Available Use% Mounted on
/mnt/nvme 3690815680 90144 3503172240 1% /opt/upper
-
syslog蓄積後
Filesystem 1K-blocks Used Available Use% Mounted on
/mnt/nvme 3690815680 58433828 3444828556 2% /opt/upper
今回、13日間のsyslogを蓄積しました。単純計算ですが、約800日間のsyslogを蓄積可能という結果になります。
おわりに
今回、NoLoad SmartSSDにsyslogを蓄積しましたが、圧縮率10.40%というかなり高い圧縮効果がでました。一般的に圧縮効果が高いデータを大量に扱うアプリケーションは、NoLoad SmartSSDの導入を検討する余地があるかもしれません。特にビッグデータを取り扱うデータベースサーバーは導入効果がありそうです。IOT関連で各種センサーが取得したデータ、POSシステムの売り上げ記録、SNSの投稿、工場の稼働記録、自動車の走行記録などなど、分析・加工前の1次データを大量に蓄積するケースでNoLoad SmartSSDを使用するとよいかもしれません。
Xilinx社の製品はこちら
個別相談も承っております。下記よりお申し込みください。
