詳解Docker+Jenkins+Gitlab+Django應(yīng)用部署實(shí)踐
一、背景介紹
在互聯(lián)網(wǎng)應(yīng)用快速更新迭代的大背景下,傳統(tǒng)的人工手動(dòng)或簡(jiǎn)單腳本已經(jīng)不能適應(yīng)此變化,此時(shí)Devops為我們提供了良好的解決方案,應(yīng)用好CI/CD可以大大的方便我們的日常工作,自動(dòng)化快速的持續(xù)集成/持續(xù)交付為我們帶來(lái)了應(yīng)用開放的更快速度、更好的穩(wěn)定性和更強(qiáng)的可靠性。
二、拓?fù)洵h(huán)境
2.1 架構(gòu)拓?fù)?/strong>

如上圖實(shí)例,簡(jiǎn)單花了下流程拓?fù)洌?/p>
- 當(dāng)研發(fā)push本地代碼到gitlab-server后,webhook自動(dòng)觸發(fā)jenkins構(gòu)建應(yīng)用
- 在docker host上部署應(yīng)用git clone來(lái)自gitlabserver源碼,并啟動(dòng)應(yīng)用
- 前端可以放置lb來(lái)做高可用
- 數(shù)據(jù)庫(kù)連接云數(shù)據(jù)庫(kù)
- 可將日志存儲(chǔ)在log后期投遞到elk實(shí)現(xiàn)日志可視化
- 構(gòu)建完成郵件通知相關(guān)人員(測(cè)試或開放)
2.2 系統(tǒng)軟件版本
| 名稱 | 版本 |
|---|---|
| Linux系統(tǒng) | CentOS7.3 64位 |
| Docker | 1.13 |
| Django | 2.0 |
三、安裝部署
3.1 Jenkins安裝部署
Jenkins安裝部署可參考:jenkins筆記
安裝完成后添加Docker目標(biāo)服務(wù)器

配置郵件發(fā)送服務(wù)器

3.2 Docker安裝部署
Docker安裝部署及Dockerfile編寫可參考:容器Docker詳解
3.3 Gitlab安裝部署
GitLab安裝在公網(wǎng)Linux服務(wù)器運(yùn)行一些命令即可,如果沒有公網(wǎng)需要手動(dòng)修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的內(nèi)網(wǎng)IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 獲取公網(wǎng)IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb
gitlab-ctl reconfigure
gitlab-ctl restart
echo "Username:root"
echo "Password:5iveL!fe"
3.4 配置發(fā)布流程
Jenkins新建構(gòu)建一個(gè)自由風(fēng)格的軟件項(xiàng)目

利用參數(shù)化構(gòu)建方便后續(xù)部署Docker傳入映射的源端口和release

源代碼來(lái)自gitlab的django項(xiàng)目

利用webhook關(guān)聯(lián)gitlab和jenkins
jenkins安裝插件:

生成隨機(jī)token值

將jenkins生成的GitLab webhook URL配置到gitlab


當(dāng)開發(fā)者在本地push代碼后自動(dòng)觸發(fā)jenkins構(gòu)建項(xiàng)目,有Dockerfile內(nèi)寫的git pull代碼,再次不用將代碼由jenkins分發(fā)到docker宿主機(jī),jenkins作為觸發(fā)docker構(gòu)建使用

配置構(gòu)建完成后的郵件
郵件模版,郵件類型選擇:
內(nèi)容類型選擇:HTML
郵件主題填寫: 構(gòu)建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
構(gòu)建通知模版:
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次構(gòu)建日志</title>
</head>
<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
offset="0">
<table width="95%" cellpadding="0" cellspacing="0"
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
<tr>
<td>(本郵件是程序自動(dòng)下發(fā)的,請(qǐng)勿回復(fù)!)</td>
</tr>
<tr>
<td><h2>
<font color="#0000FF">構(gòu)建結(jié)果 - ${BUILD_STATUS}</font>
</h2></td>
</tr>
<tr>
<td><br />
<b><font color="#0B610B">構(gòu)建信息</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>項(xiàng)目名稱 : ${PROJECT_NAME}</li>
<li>構(gòu)建編號(hào) : 第${BUILD_NUMBER}次構(gòu)建</li>
<li>SVN 版本: ${SVN_REVISION}</li>
<li>觸發(fā)原因: ${CAUSE}</li>
<li>構(gòu)建日志: <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
<li>構(gòu)建 Url : <a href="${BUILD_URL}">${BUILD_URL}</a></li>
<li>工作目錄 : <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
<li>項(xiàng)目 Url : <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
</ul>
</td>
</tr>
<tr>
<td><b><font color="#0B610B">Changes Since Last
Successful Build:</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>歷史變更記錄 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
</ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}
</td>
</tr>
<tr>
<td><b>Failed Test Results</b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td><pre
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
<br /></td>
</tr>
<tr>
<td><b><font color="#0B610B">構(gòu)建日志 (最后 100行):</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<!-- <tr>
<td>Test Logs (if test has ran): <a
href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
<br />
<br />
</td>
</tr> -->
<tr>
<td><textarea cols="80" rows="30" readonly="readonly"
style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
</td>
</tr>
</table>
</body>
</html>
觸發(fā)類型可根據(jù)自身需要填寫,這里填寫always無(wú)論成功還是失敗都發(fā)送郵件
查看遠(yuǎn)程Docker服務(wù)器內(nèi)的文件

django部署已經(jīng)利用conda打包好了項(xiàng)目的Python3.6的環(huán)境包自制了Docker鏡像

之前利用的是純凈的Python3.6系統(tǒng),在每次構(gòu)建的時(shí)候利用pip安裝requirements.txt的模塊,但是長(zhǎng)此以往由于環(huán)境變化很少,每次需要pip安裝耗時(shí),所以利用conda將打包好的Python環(huán)境自制成定制化環(huán)境,以此來(lái)減少環(huán)境部署時(shí)間,也可以通過docker鏡像制作是-v參數(shù)將本地磁盤掛載在環(huán)境內(nèi),每次構(gòu)建本地的conda即可,完成快速環(huán)境部署。
查看Dockerfile
FROM 87a69025db6a
MAINTAINER kaliarch
# 定義docker中工作目錄
ENV WORK_DIR /work/
# 創(chuàng)建docker內(nèi)工作目錄
RUN mkdir $WORK_DIR
# 定義映射端口
EXPOSE 80
WORKDIR $WORK_DIR
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git
# 添加啟動(dòng)服務(wù)腳本
ADD *.sh ${WORK_DIR}
CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log
查看Django啟動(dòng)腳本
#!/bin/bash
BASEPATH=$(cd `dirname $0`;pwd)
PY_CMD=/python3/bin/python
# 服務(wù)入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py
# 遷移腳本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 刪除腳本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py
# 日志目錄
LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}
# 啟動(dòng)服務(wù)
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 啟動(dòng)腳本遷移調(diào)度腳本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &
# 啟動(dòng)遷移刪除腳本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &
查看jenkins部署腳本
#!/bin/bash
release=$1
port=$2
BASEPATH=$(cd `dirname $0`;pwd)
# 構(gòu)建go2cloud-platform 鏡像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .
IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')
echo $IMGNAME
# 啟動(dòng)容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}
利用-v參數(shù)將日志持續(xù)化存儲(chǔ)到docker 宿主機(jī)之上
四、測(cè)試展示
4.1 測(cè)試構(gòu)建
手動(dòng)構(gòu)建測(cè)試
4.2 查看log

4.3 查看docker容器

4.4 測(cè)試app

五、反思改進(jìn)
- 目前數(shù)據(jù)庫(kù)連接的為云服務(wù)器搭建的數(shù)據(jù)庫(kù),后期數(shù)據(jù)庫(kù)也利用docker,多組采用docker-compose統(tǒng)一部署管理
- 后期可以利用利用公有云k8s集群進(jìn)行方便測(cè)試
- 目前docker容器產(chǎn)生的日志在docker宿主機(jī)上,后期可以將其存儲(chǔ)在cos上,再投遞到elk集群日志可視化處理
- 將鏡像統(tǒng)一管理制作本地鏡像倉(cāng)庫(kù)
- gitlab添加code review并結(jié)合自動(dòng)測(cè)試
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
docker compose idea CreateProcess error=2 系統(tǒng)找不到指定的文件的問題
這篇文章主要介紹了docker compose idea CreateProcess error=2 系統(tǒng)找不到指定的文件的問題及解決方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-08-08
Docker部署Django+Mysql+Redis+Gunicorn+Nginx的實(shí)現(xiàn)
這篇文章主要介紹了Docker 部署 Django+Mysql+Redis+Gunicorn+Nginx,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
使用docker環(huán)境變量動(dòng)態(tài)配置nginx的問題小結(jié)
這篇文章主要介紹了使用docker環(huán)境變量動(dòng)態(tài)配置nginx,整個(gè)方案,采用的是通過docker run -e xxxx=xxx先往容器注入環(huán)境變量,然后進(jìn)一步通過envsubst指令將環(huán)境變量寫入到具體的文件當(dāng)中,實(shí)現(xiàn)動(dòng)態(tài)配置文件內(nèi)容,需要的朋友可以參考下2022-06-06
docker-swarm之使用Docker secret管理敏感數(shù)據(jù)
就Docker Swarm集群服務(wù)而言,secret 是塊狀數(shù)據(jù),例如密碼、SSH私鑰、SSL證書或其他不應(yīng)通過網(wǎng)絡(luò)傳輸或未加密存儲(chǔ)在Dockerfile或應(yīng)用程序源代碼中的數(shù)據(jù),我們可以使用Docker secret 集中管理這些數(shù)據(jù),所以接下來(lái)就帶大家了解一下如何使用Docker secret 管理敏感數(shù)據(jù)2023-08-08
Docker部署Kafka以及Spring Kafka實(shí)現(xiàn)
這篇文章主要介紹了Docker部署Kafka以及Spring Kafka實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10
清理docker磁盤空間的方法總結(jié)(附詳細(xì)講解)
docker?鏡像特別容易占空間,稍微不注意可能磁盤爆滿,所以本文給大家詳細(xì)介紹了如何清理?docker?磁盤空間,并通過代碼示例給大家講解的非常詳細(xì),需要的朋友可以參考下2024-02-02
Docker實(shí)踐--部署Nodejs應(yīng)用
本篇文章主要介紹了Docker實(shí)踐--部署Nodejs應(yīng)用,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧2017-01-01

