隨手測試 TrueNas ZFS 的檔案壓縮功能與去重複檔案功能

今年的年度備份改採建立 NAS 的方式來儲存,但其每年的備份檔案有絕大部分檔案是不會變更的,在建置是特別注重 DeDup 功能(去重複化,多個路徑相同的檔案在儲存空間上只存檔案一份),希望啟動這個功能可以大幅節省備份的空間。

我利用替換下來的主機,在上面安裝了 TrueNAS (前身是 FreeNas),啟動壓縮(使用 GZIP9)及 DeDup 功能,來驗證看看這類的產品最多能節省多少空間。

本測試使用的 Oracle DB 的備份檔案、產生的 Archive 檔案、以及備份的指令與Log 檔案分別來測試。

首先測試壓縮比的數字,在檔案是文字檔案居多的情況下,壓縮可達 4.36 (4.36G 的檔案只佔 1G 的空間),個人覺得還不錯

但是在去重複化的部分就有點微小不同,我複製了同樣的檔案三次,得到的去除比例卻是在 2.85x,雖然只差上 0.15,但證明同樣的檔案可能因演算法就沒有完全去除,不過在實務上應該無法找出這個微小的差異

用另一個指令去看是 1.08G 的資料,只用掉 0.37G 的空間,符合 2.85 的計算邏輯

雖然這種方式可以大幅減少空間的需求,但是不適用於提供多人使用,因為每次檔案進出都會利用大量的 RAM 做暫存,吃掉 CPU 運算能力來做壓縮、去重複化的比對,整個 NAS 會變得很忙,其執行效率就不會太好,在網路上找到的文章都是寫開啟要三思,因為一旦開了 DeDup 那就只能打掉重來。

發表迴響

%d 位部落客按了讚: