如何將Docker的構建時間減少40%(推薦)

更新時間：2023年11月23日 11:22:21 作者：沖浪中臺

這篇文章主要介紹了如何將Docker的構建時間減少40%,本文描述了我們在優(yōu)化CI管道后獲得的一些新見解，需要的朋友可以參考下

與許多公司類似，我們?yōu)楫a(chǎn)品中使用的所有組件構建docker映像。隨著時間的推移，其中一些映像變得越來越大，我們的CI構建花費的時間也越來越長。我的目標是CI構建不超過5分鐘——差不多是喝杯咖啡休息的理想時間。如果構建花費的時間超過這個時間，就會降低開發(fā)人員的工作效率。

造成生產(chǎn)力損失的原因是：

1、開發(fā)人員需要等待構建完成，從而浪費時間。

2、開發(fā)人員開始做一些新的東西，并在晚些時候再回來做。切換必然耗時，這通常也會導致效率低下。

在這篇文章中，我想說明我們應用的2個小變化，兩者極大地改善了我們的構建時間。當然，在關注這些改進之前，請確保你已經(jīng)遵循編寫dockerfile的最佳實踐，比如盡量減少層數(shù)；使用多級構建；使用最小的基礎圖像等等。

1、Buildkit vs Buildx

讓我們從解釋Buildkit和Buildx開始，因為這兩個術語經(jīng)?；Q使用，但它們并不相同。

Builkit

Buildkit是經(jīng)過改進的后端，用來取代舊的Docker構建器。它在2018年打包在Docker中，并成為docker engine 23.0的默認構建器。

它提供了許多有趣的功能：

改進的緩存功能
并行構建不同的層
延遲拉取基礎鏡像(≥Buildkit 0.9)

在使用Buildkit時，你很快就會注意到docker構建命令的輸出看起來更清晰、更結構化。

在docker版本低于23.0的情況下使用Buildkit的典型方法是設置Buildkit參數(shù)。如下所示：

DOCKER_BUILDKIT=1 docker build --platform linux/amd64 . -t someImage:someVersion
DOCKER_BUILDKIT=1 docker push someImage:someVersion

Buildx

Buildx是Docker的一個插件，它使你能夠在Docker中使用Buildkit的全部潛力。之所以創(chuàng)建它，是因為Buildkit支持許多新的配置選項，這些選項不能全部以向后兼容的方式集成到docker構建命令中。

除了構建鏡像之外，Buildx還支持管理多個構建器。在CI中，這對于定義具有不同配置的作用域環(huán)境非常有用，因為它們不會修改共享Docker守護進程。

你可以像下面這樣開始使用Buildx：

2、受益于遠程緩存

加快構建速度的第一種方法是在遠程注冊表中緩存鏡像。這樣，即使在不同的機器上執(zhí)行構建，也可以從構建緩存中獲益，這是CI中的典型情況。作為一種解決方法，許多人在構建新映像版本之前提取了映像的最新版本。這樣做的好處是，你可以緩存未更改的圖層，而代價是最初提取完整的圖像。拉取完整的圖像可能需要一段時間，但也不能保證圖層可以被重用。為了說明這一點，我們使用了以下命令：

使用Buildx，你可以將緩存信息存儲在遠程位置(例如容器注冊表、blob存儲等)。構建器檢查給定層是否已經(jīng)存在，如果是這種情況，它將重用它而不是再次創(chuàng)建它。這甚至可以在不拉動本地圖層的情況下完成。為了從這個機制中受益，我們將之前的命令修改為：

模式“max”意味著我們將存儲每一層的構建信息，甚至是生成圖像中未使用的層(例如，當使用多階段構建時)。默認模式下使用“min”，它只存儲最終映像中存在的層的構建信息。

緩存的一個特殊情況是“內(nèi)聯(lián)”存儲緩存數(shù)據(jù)，這意味著它將與圖像一起緩存。當使用Buildkit而不使用Buildx時，也支持此選項。它是最容易開始的，但在使用多階段構建時就比較棘手了，而且它沒有在工件輸出和緩存之間提供明確的分離。內(nèi)聯(lián)存儲緩存數(shù)據(jù)的命令如下：

3、添加文件到Docker鏡像的新方法

Docker引入了新的dockerfile編寫語法，即:

#syntax= docker /dockerfile:1.4。它支持COPY和ADD命令的額外鏈接選項。

以前，當你使用COPY或ADD命令時，構建器會創(chuàng)建一個新快照，它將新文件與現(xiàn)有文件系統(tǒng)合并。其結果是，在執(zhí)行此操作之前，父層都需要存在，否則目標目錄可能還不存在。最后，你的映像(構建命令的結果)將由每個層的tarball組成，其中包含各個快照之間的差異。