讓gzip壓縮速度加快的解決方案：使用支持多核CPU多線程并發(fā)壓縮的pigz

發(fā)布時間：2014-07-23 09:42:46 作者：佚名

我要評論

這篇文章主要介紹了讓gzip壓縮速度加快的解決方案：使用支持多核CPU多線程并發(fā)壓縮的pigz,需要的朋友可以參考下

pig是個啥東東？
官網(wǎng)：http://zlib.net/pigz
一句話簡介：

復(fù)制代碼

代碼如下:

A parallel implementation of gzip for modernmulti-processor, multi-core machines。

簡單的說，就是支持并行的gzip。廢話不多說，開始測試。

pig默認(rèn)用當(dāng)前邏輯cpu個數(shù)來并發(fā)壓縮，無法檢測個數(shù)的話，則并發(fā)8個線程。

一、測試壓縮包文件1

復(fù)制代碼

代碼如下:

壓縮前
-rw-r--r-- 1 root root 2474772480 Dec 3 19:54 dbs.tar 1、gzip測試
壓縮耗時，CPU最高：101.6%
real 2m18.042s
user 2m10.204s
sys 0m6.876s 解壓縮耗時，CPU最高：101.6%
real 0m26.756s
user 0m20.175s
sys 0m6.580s 壓縮后
-rw-r--r-- 1 root root 2349563863 Dec 3 19:54 dbs.tar.gz 2、pigz測試
并發(fā)8線程(默認(rèn))：
壓縮耗時，CPU最高：832%
real 0m21.710s
user 2m31.229s
sys 0m9.101s 解壓縮耗時，CPU最高：199%
real 0m13.239s
user 0m11.791s
sys 0m12.426s 并發(fā)4線程：
壓縮耗時，CPU最高：427.6%
real 0m38.299s
user 2m30.701s
sys 0m8.369s 解壓縮耗時，CPU最高：202%
real 0m13.294s
user 0m12.154s
sys 0m11.862s 壓縮后
-rw-r--r-- 1 root root 2350161547 Dec 3 19:54 dbs.tar.gz 二、測試壓縮包文件2
壓縮前
-rw-r--r-- 1 root root 5248890880 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar 1、gzip測試
壓縮耗時，CPU最高：101%
real 6m20.524s
user 6m2.466s
sys 0m7.410s 解壓縮耗時，CPU最高： 101%
real 0m58.893s
user 0m46.258s
sys 0m11.944s 壓縮后
-rw-r--r-- 1 root root 1410045513 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz 2、pigz測試
并發(fā)8線程(默認(rèn))：
壓縮耗時，CPU最高： 799%
real 1m11.908s
user 6m36.717s
sys 0m9.860s 解壓縮耗時，CPU最高：179%
real 0m33.188s
user 0m38.069s
sys 0m16.728s 并發(fā)4線程：
壓縮耗時，CPU最高： 418%
real 1m41.547s
user 6m36.782s
sys 0m9.806s 解壓縮耗時，CPU最高： 179%
real 0m33.120s
user 0m37.500s
sys 0m16.956s 壓縮后
-rw-r--r-- 1 root root 1406061442 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz

結(jié)論：

1、pigz默認(rèn)用法(默認(rèn)并發(fā)線程是邏輯cpu個數(shù))可比gzip快5.3倍，CPU消耗則是gzip的8倍，壓縮比則相當(dāng)；
2、并發(fā)8線程對比4線程提升：41.2%，16線程對比8線程提升：27.9%，32線程對比16線程提升：3%；
3、在對壓縮效率要求較高、但對短時間內(nèi)CPU消耗較高不受影響的場景，使用pigz非常合適。

Tag：Gzip壓縮 pigz

相關(guān)文章

Fedora Linux 42 穩(wěn)定版發(fā)布: 帶來大量新功能和軟件更新
Fedora 42昨日發(fā)布，這是 Red Hat 贊助開發(fā)的杰出前沿 Linux 發(fā)行版的最新版，包含大量新功能和軟件更新，使其成為 2025 年上半年發(fā)布的一款出色的 Linux 操作系統(tǒng)之一，內(nèi)
2025-04-16
如何在Linux查看硬盤信息? 查看Linux硬盤大小類型和硬件信息的5種方法
使用Linux系統(tǒng)的過程中，查看和了解硬盤信息是非常重要的工作，尤其是對于系統(tǒng)管理員而言，那么在Linux系統(tǒng)中如何查看硬盤信息?以下是具體內(nèi)容介紹
2025-03-12
如何在 Linux 中查看 CPU 詳細(xì)信息? 3招輕松查看CPU型號、核心數(shù)和溫度
在日常運(yùn)維工作中，獲取 CPU 信息是系統(tǒng)運(yùn)維管理員常見的工作內(nèi)容，無論是為了性能調(diào)優(yōu)、硬件升級還是僅僅滿足好奇心
2025-03-11
什么是 Arch Linux? 獨(dú)樹一幟的Arch Linux發(fā)行版分析
Arch Linux是為簡化，優(yōu)化，現(xiàn)代化，實(shí)用主義，用戶中心和多功能性而創(chuàng)建Linux發(fā)行版，究竟是什么讓 Arch 與眾不同？下面我們就來簡要解讀
2025-02-19
如何在Linux環(huán)境下制作 Win11裝機(jī)U盤?
一直用的linux辦公，想要將筆記本電腦從 Linux 系統(tǒng)切換回 Windows 11，我們可以制作一個win11裝機(jī)u盤，詳細(xì)如下
2025-02-17
Rsnapshot怎么用? 基于Rsync的強(qiáng)大Linux備份工具使用指南
Rsnapshot 不僅可以備份本地文件，還能通過 SSH 備份遠(yuǎn)程文件，接下來詳細(xì)介紹如何安裝、配置和使用 Rsnapshot，包括創(chuàng)建每小時、每天、每周和每月的本地備份，以及如何進(jìn)
2025-02-06
Linux Kernel 6.13發(fā)布:附更新內(nèi)容及新特性解讀
Linux 內(nèi)核 6.13 正式發(fā)布，新版本引入了惰性搶占支持，簡化內(nèi)核搶占邏輯，通過減少與調(diào)度器相關(guān)的調(diào)用次數(shù)，讓內(nèi)核在運(yùn)行時表現(xiàn)更優(yōu)，從而提高效率
2025-01-23
五大特性引領(lǐng)創(chuàng)新! 深度操作系統(tǒng) deepin 25 Preview預(yù)覽版發(fā)布
今日，深度操作系統(tǒng)正式推出deepin 25 Preview版本，該版本集成了五大核心特性：磐石系統(tǒng)、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系統(tǒng)
2025-01-18
Linux Mint Xia 22.1重磅發(fā)布: 重要更新一覽
Beta 版 Linux Mint“Xia” 22.1 發(fā)布，新版本基于 Ubuntu 24.04，內(nèi)核版本為 Linux 6.8，這次更新帶來了諸多優(yōu)化和改進(jìn)，進(jìn)一步鞏固了 Mint 在 Linux 桌面操作系統(tǒng)領(lǐng)域的
2025-01-16
LinuxMint怎么安裝? Linux Mint22下載安裝圖文教程
Linux Mint22發(fā)布以后，有很多新功能，很多朋友想要下載并安裝，該怎么操作呢？下面我們就來看看詳細(xì)安裝指南
2025-01-16