安裝腳本

Ubuntu / Centos

Debian的安裝貌似有問(wèn)題， 需要解決安裝源的問(wèn)題。

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun / AzureChinaCloud

如果在海外的AWS或者GCP等云服務(wù)器廠商， --mirror 自然不需要加上去了。

Centos在運(yùn)行完成之后， 還需要手動(dòng)的 sudo systemctl start docker.service 否則會(huì)提示docker沒(méi)有啟動(dòng)之類的錯(cuò)誤

日志相關(guān)

Grep String

正確的姿勢(shì)： docker logs nginx 2>&1 | grep "127."

比如查看Jupyter Notebook的token: docker logs notebook 2>&1 | grep "token"

其他支持的參數(shù)

-f : 類似tail -f 命令

--since : 從某個(gè)時(shí)間戳開始，比如 2013-01-02T13:23:37 也支持相對(duì)時(shí)間，比如: 42m

--until : 與上類似， 不過(guò)是反過(guò)來(lái)。

-t, --timestamp : 顯示時(shí)間戳

--tail N(default all) : 顯示最后幾行數(shù)據(jù)

Mount的技巧
比如Grafana 等，在docker image之中自帶一些文件。如果直接mount對(duì)應(yīng)的目錄并且host目錄為空， 那么docker內(nèi)部的

目錄就會(huì)被覆蓋。如何處理這種情況呢？

簡(jiǎn)單粗暴的方法1：(思路only)

先運(yùn)行一次， 然后使用 docker cp 命令將其復(fù)制出來(lái)

然后刪除剛才的docker container， 將文件復(fù)制到對(duì)應(yīng)的目錄，再mount

更優(yōu)雅一些的方法2:

以啟動(dòng) ClickHouse 為例

# Step 1.1: 創(chuàng)建一個(gè)docker volume (目的： 把CH Server的配置暴露出來(lái))
docker volume create --driver local \
--opt type=none \
--opt device=/home/centos/workspace/clickhouse/configs \
--opt o=bind \
ch-server-configs

# Step 1.2 : 創(chuàng)建volume , mount 數(shù)據(jù)庫(kù)數(shù)據(jù)
docker volume create --driver local \
--opt type=none \
--opt device=/home/centos/workspace/clickhouse/data \
--opt o=bind \
ch-server-data

# Step 2 : 啟動(dòng) （注意： 當(dāng)存儲(chǔ)數(shù)據(jù)較多的時(shí)候， 第二次啟動(dòng)，會(huì)花比較長(zhǎng)的時(shí)間來(lái)初始化。 初始化結(jié)束之前嘗試鏈接會(huì)失敗。）
sudo docker run -d --name mkt-ch-server \
-v ch-server-configs:/etc/clickhouse-server \
-v ch-server-data:/var/lib/clickhouse \
--restart always \
-p 9000:9000 -p 8123:8123 \
--ulimit nofile=262144:262144 yandex/clickhouse-server

這樣docker鏡像自帶的配置文件就不會(huì)在第一次mount的時(shí)候被清空

定時(shí)任務(wù)

比如mysql需要定期導(dǎo)出數(shù)據(jù)備份。這個(gè)操作最好是利用宿主機(jī)的crond來(lái)完成

0 1 * * * docker exec mysqldump xxxx

常用Docker鏡像及其安裝命令

MySQL

安裝

docker run --name some-mysql --restart always\
-v /my/own/datadir:/var/lib/mysql\
-e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag

Dump 數(shù)據(jù)

方式1： 已經(jīng)在本地有mysql docker container

下面的命令是針對(duì)docker內(nèi)部的mysql，也可以直接指定參數(shù)dump remote mysql

docker exec some-mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /path-to-data/all-databases.sql

方式2 ： 在本地還沒(méi)有mysql docker container

# 用完就刪除，并在命令行提示輸入密碼
docker run -i --rm mysql:5.7 mysqldump --all-databases\
-h 172.17.0.1 -uroot -p | gzip -9 > /home/centos/workspace/mysql-data/backup.sql.gz

編輯器原因， 上面 > 沒(méi)有正確顯示出來(lái)

Restore 數(shù)據(jù)

還是參考上面 Dump 的方式，只不過(guò)命令行工具改成了 mysql

Python Proxy

多多少少要搞一些爬蟲吧。充分利用云服務(wù)器的IP用來(lái)做爬蟲代理。目前發(fā)現(xiàn)最簡(jiǎn)單的爬蟲代理搭建方法：

docker run --name py-proxy -d --restart always -p 8899:8899 abhinavsingh/proxy.py

注意：

1. 截至目前位置， 這個(gè)docker鏡像的python腳本還比較老，不支持basic auth. 如果需要basic auth, 需要自行更新python文件，并重新docker build才可以。Github地址： https://github.com/abhinavsingh/proxy.py
2. 在實(shí)際生產(chǎn)之中， 用多了貌似有自動(dòng)無(wú)法鏈接的情況。也可能是目標(biāo)網(wǎng)站的問(wèn)題。
3. 這個(gè)東東也可以作為瀏覽器SwitchSharp的代理哦， 不過(guò)推薦加上https + basic auth. 具體操作請(qǐng)看官方文檔。

Jupyter Notebook

用了一圈， 感覺(jué)還是 tensorflow 鏡像自帶的Notebook比較簡(jiǎn)單。 因?yàn)樵趍ount host 目錄的時(shí)候， 沒(méi)有奇奇怪怪的權(quán)限問(wèn)題。bash script 如下：

sudo docker run --name notebook -d --restart always \
 -p 127.0.0.1:8888:8888 \
 -v /path-to-workspace/notebooks:/tf \
 tensorflow/tensorflow:latest-py3-jupyter

如果還需要鏈接Apache Spark等，參考如下Script

sudo docker run --name pyspark-notebook -d \
 --net host --pid host -e TINI_SUBREAPER=true -p 8888:8888 \
 -v /path-to-workspace/notebooks:/tf \
 tensorflow/tensorflow:latest-py3-jupyter

Grafana

ID=$(id -u)
 
docker run \
 -d --restart always \
 -p 3000:3000 \
 --name=grafana \ 
 --user $ID -v /path-to-data/grafana-data:/var/lib/grafana \
 -e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource" \
 -e "GF_SECURITY_ADMIN_PASSWORD=aaabbbccc" \
 grafana/grafana 

一些簡(jiǎn)單的解釋：

• –user $ID 必須要設(shè)置， 否則docker內(nèi)部會(huì)出現(xiàn)permission issue
• GF_INSTALL_PLUGINS ： 安裝一些非自帶的插件
• GF_SECURITY_ADMIN_PASSWORD ： 賬號(hào)： admin / aaabbbccc

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。

最新評(píng)論