欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Docker 部署Scrapy的詳解

 更新時間：2018年04月10日 09:12:05   作者：瓦力  
這篇文章主要介紹了Docker 部署Scrapy的詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

假設我們要在10臺Ubuntu 部署爬蟲如何搞之？用傳統(tǒng)的方法會吐血的，除非你記錄下來每個步驟，然后步驟之間的次序還完全一樣，這樣才行。但是這樣還是累啊，個別軟件下載又需要時間。所以Docker出現(xiàn)了。Docker把系統(tǒng)，各種需要的應用，還有設置編譯成一個image，然后 run一下就可以了。跟虛擬機的區(qū)別是不需要而外的物理支持，共用的。

1. 部署步驟

1.1 上傳本地scrapy爬蟲代碼除了settings外到git 服務器

1.2 編寫Dockerfile文件，把settings和requirements.txt 也拷貝到image里，一起打包成一個image

Dockerfile內(nèi)容：

FROM ubuntu
RUN apt-get update
RUN apt-get install -y git
RUN apt-get install -y nano 
RUN apt-get install -y redis-server  
RUN apt-get -y dist-upgrade
RUN apt-get install -y openssh-server
RUN apt-get install -y python3.5 python3-pip
RUN apt-get install -y zlib1g-dev libffi-dev libssl-dev
RUN apt-get install -y libxml2-dev libxslt1-dev
RUN mkdir /code
WORKDIR /code
ADD ./requirements.txt /code/
ADD ./settings.py /code/
RUN mkdir /code/myspider
RUN pip3 install -r requirements.txt
VOLUME [ "/data" ]

requirements.txt 內(nèi)容：

BeautifulSoup4
scrapy
setuptools
scrapy_redis
redis
sqlalchemy
pymysql
pillow

整個目錄結(jié)構(gòu)：

docker build -t fox6419/scrapy:scrapyTag .

fox6419是用戶名，scrapyTag是tag

成功后，執(zhí)行docker images可以在本地看到image

1.3 打包的image 上傳到docker hub中

docker push username/repository:tag

push的命令格式是這樣的，我這邊就是：

docker push fox6419/scrapy:scrapyTag

1.4 在DigitalOcean這種主機商創(chuàng)建帶docker應用的Ubuntu 16.04版本

1.5 登陸docker，拉下1.3的image，然后run起來

docker run -it fox6419/scrapy:scrapyTag /bin/bash

1.6 命令進去后，git clone 1.1中的爬蟲，然后復制images里的settings到爬蟲目錄，然后執(zhí)行scrapy crawl xxx即可

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

相關文章

  • 解決Docker容器下不能使用vim命令的問題

    解決Docker容器下不能使用vim命令的問題

    這篇文章介紹了解決Docker容器下不能使用vim命令的問題，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2022-03-03
  • 云服務器安裝docker環(huán)境的解決方案

    云服務器安裝docker環(huán)境的解決方案

    這篇文章主要介紹了云服務器安裝docker環(huán)境的解決方案,可以使用termins連接服務器,詳細介紹了docker安裝與Portainer安裝過程,需要的朋友可以參考下
    2024-04-04
  • 查看docker是否處于啟動狀態(tài)的方法詳解

    查看docker是否處于啟動狀態(tài)的方法詳解

    Docker 是一個開源的應用容器引擎,讓開發(fā)者可以打包他們的應用以及依賴包到一個可移植的容器中,本文主要給大家介紹了查看docker是否處于啟動狀態(tài)的方法,需要的朋友可以參考下
    2024-06-06
  • Docker默認網(wǎng)段的正確修改步驟

    Docker默認網(wǎng)段的正確修改步驟

    這篇文章主要給大家介紹了關于Docker默認網(wǎng)段修改的相關資料，文中通過示例代碼以及圖文介紹的非常詳細，對大家的學習或者使用Docker具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧
    2019-03-03
  • Docker 給運行中的容器設置端口映射的方法

    Docker 給運行中的容器設置端口映射的方法

    這篇文章主要介紹了Docker 給運行中的容器設置端口映射的方法，詳細的介紹了端口映射的概念和方法，具體一定的參考價值，有興趣的可以了解一下
    2017-11-11
  • docker利用WebHook實現(xiàn)持續(xù)集成

    docker利用WebHook實現(xiàn)持續(xù)集成

    這篇文章主要介紹了docker利用WebHook實現(xiàn)持續(xù)集成的相關知識，非常不錯，具有參考借鑒價值,需要的朋友可以參考下
    2018-01-01
  • 深入淺析Docker容器中的Patroni

    深入淺析Docker容器中的Patroni

    今天將向大家介紹，如何搭建容器下的Patroni集群環(huán)境，Patroni作為開箱即用PG高可用工具，越來越多的被各個廠商用于云環(huán)境下使用
    2021-11-11
  • 基于CentOS8系統(tǒng)使用Docker搭建Gitlab的詳細教程

    基于CentOS8系統(tǒng)使用Docker搭建Gitlab的詳細教程

    這篇文章主要介紹了基于CentOS8系統(tǒng)使用Docker搭建Gitlab教程,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2021-10-10
  • Docker 鏡像加速器的方法

    Docker 鏡像加速器的方法

    本篇文章主要介紹了Docker 鏡像加速器的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
    2017-12-12
  • docker-compose啟動服務方式

    docker-compose啟動服務方式

    這篇文章主要介紹了docker-compose啟動服務方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-05-05

最新評論