測試 nexenta 軟體定義的儲存設備

因公司的 Netapp 已經購買超過3年了,同時這個機種也早已經 Phase Out,連廠商都不建議要保固,因為不論硬碟還是控制卡都已經停產,時間該來評估一下新的產品了。

剛好前一陣子參加廠商的展覽有留下資料,剛好有測試機器有個空檔,所以借來測試一下 Nexenta 3.1.5 版本的軟體式 Storage,該機器基本配置是一顆 Intel E5 Xeon CPU,配上 32G Ram, 及 9 顆 1TB 7200 轉SATA HDD,由於是純軟體式,所以機器上沒有硬體式的 RAID,號稱效能會更加的好;該硬碟的配置是兩個 Raid 5 設定

首先看一下機器這設定, 在網路的部分我們把兩個1G的 Port bind 成一個2G, 減少因為網路的頻寬造成的瓶頸。

Nexenta machine spec
Nexenta machine spec

直接使用CIFS 分享作大量寫入,可以吃到單機1G頻寬的上限,速度可達80MB/Sec

Nexenta upload speed in 1G network
Nexenta upload speed in 1G network

此時CPU Load 還游刃有餘,但寫入的速度已經塞到滿載了

Nexenta upload speed in 1G network
Nexenta upload speed in 1G network

同樣的我寫了一個簡單的批次去把我們實際上的備份資料往裡面都丟,在同時有兩台機器,執行了二個不同的批次來作複製的工作,首先第一個目錄裡面有 1.32TB, 超過420,000個檔案,共有38,000以上的資料夾,複製整個目錄約需要8小時24分40秒,

Nexenta upload speed for 1.32TB
Nexenta upload speed for 1.32TB

另一個路徑有115G, 超過29,000個檔案及1700個路徑

Nexenta upload speed for 115G
Nexenta upload speed for 115G

同時複製時因檔案大小不同,造成檔案複製上下幅度很大。

Nexenta upload
Nexenta upload

在系統統計畫面看起來全都是寫入,只是不知道這個數字是不是機器的極限

Nexenta  Max Write
Nexenta Max Write

利用上方的數字大約計算出來如下,這個是在系統沒有開啟壓縮(compress)及去除重複(DeDup)的功能情況下的測試

nexenta avg upload speed
nexenta avg upload speed

系統也會於定期寄送 Mail 通知管理人員目前的使用狀況,其範本如下:

nexenta mail template
nexenta mail template

接下來我們再更換一下設定把壓縮及去除重複的功能打開,再拿類似的條件再跑一次

nexenta turn on dedup and compression
nexenta turn on dedup and compression

壓縮時很明顯 CPU 就吃得比較重,但還不到50%

image011

複製完成之後其去除重複率只有1.19,這個跟實際的檔案有關,每個人測出來都會不同

nexenta turn on dedup ratio
nexenta turn on dedup ratio

而壓縮比也僅達到 1.16 倍,也不是很理想。

Nexenta Machine Spec
Nexenta Machine Spec

鑒於實際所產生的空間節省比對複製過程中所產生的傳輸效能的降低,建議乖乖的把以上兩個功能停用吧..

試用 Snapshot 功能

首先須在系統可以設定 snapshot (可以分為手動或自動),據稱這套可以幾乎可以無限制地保留 snapshot,只要你的硬碟空間夠大,同時會在正常的 CIFS folder 底下看到 .zfs 的奇怪目錄,這底下就可以看到不同時段所做的 Snapshot,以及其檔案

image014

因為 snapshot 在現在的系統算是很正常的功能,所以我就不再多做測試,反而在系統上有一個 Snapshot rollback 功能,可以把某個時間點的snapshot 轉回來,或是clone到另外一個 folder (可以算是 CIFS的分享),做了 rollback 大約需要幾分鐘的時間,之後在分享上重新整理後就看到原來刪掉的檔案就跑回來,但是在 snapshot 至後異動的東西就不見了.. 使用上要特別小心。

image015

接下來做個資料庫還原測試,我找了一台每天做 Oracle RMAN 還原的主機,把它分別複製到 NetApp 及 Nexenta 的 NFS 分享上面去,在Vmware ESX host 類似的環境下做資料庫還原的動作,不過要先說明一下,我的測試環境不是一個乾淨的環境,還原過程中都會有其他電腦會對 NetApp 及 Nexenta 做存取,所以測出來的速度僅能參考喔。

左邊是還原到 Nexenta, 右邊是 NetApp, 讓兩邊的批次分批手動執行

nexenta restore oracle database
nexenta restore oracle database

在 NetApp 上面還原約 214G 的 oracle 資料庫檔案,需要 2小時56分19秒

image017

在 Nexenta 上測試同樣的檔案約需要 3小時又6秒鐘,跟 NetApp 效能相同

image018

另外很快速的測試一下 Deduplicate 的功能,故意先複製一些軟體安裝的 ISO 檔案,為節省網路傳輸時間所以利用 Console 連入下 cp 指令來複製

image019

由系統去驗證去重複率落在 3.66倍 (最好的情況應該是4倍)

image020

發表迴響