詳解python3 + Scrapy爬蟲學(xué)習(xí)之創(chuàng)建項目
最近準(zhǔn)備做一個關(guān)于scrapy框架的實戰(zhàn)，爬取騰訊社招信息并存儲，這篇博客記錄一下創(chuàng)建項目的步驟
pycharm是無法創(chuàng)建一個scrapy項目的
因此，我們需要用命令行的方法新建一個scrapy項目
請確保已經(jīng)安裝了scrapy，twisted，pypiwin32
一：進(jìn)入你所需要的路徑，這個路徑存儲你創(chuàng)建的項目
我的將放在E盤的Scrapy目錄下
二：創(chuàng)建項目：scrapy startproject ***(這個是項目名)
這樣就創(chuàng)建好了一個名為tencent的項目
三：進(jìn)入項目新建一個爬蟲：scrapy genspider tencent_spider hr.tencent.com
這里我們要注意，上面的命令，加黑的是爬蟲名稱，斜體是域名
這樣，我們就新建了一個爬蟲項目，打開文件夾查看
打開spiders
然后我們用pycharm打開
點擊File —>open，找到項目所在文件夾，打開即可
這樣，我們就新建了一個scrapy項目，如果安裝了所需要的庫，scrapy飄紅，記得去切換解釋器
在File—>settings的標(biāo)紅的地方
另外推薦大家，在根目錄下新建一個start.py的文件并寫入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
這樣，我們每次運行，運行start.py，即可，不用到命令行執(zhí)行運行命令
鼠標(biāo)右鍵tencent，新建python文件，即可創(chuàng)建。
以上所述是小編給大家介紹的python3 Scrapy爬蟲創(chuàng)建項目詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
這篇文章主要介紹了10個Python面試常問的問題(小結(jié))，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
這篇文章主要介紹了Python2升級/安裝pip報錯問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-03-03
基于Python實現(xiàn)GeoServer矢量文件批量發(fā)布
由于矢量圖層文件較多，手動發(fā)布費時費力，python支持的關(guān)于geoserver包又由于年久失修，無法在較新的geoserver版本中正常使用。本文為大家準(zhǔn)備了Python自動化發(fā)布矢量文件的代碼，需要的可以參考一下2022-07-07
FFT（Fast Fourier Transformation）是離散傅氏變換（DFT）的快速算法。即為快速傅氏變換。本文將用Python語言實現(xiàn)DIT-FFT算法，感興趣的可以了解一下2022-10-10
numpy求矩陣的特征值與特征向量(np.linalg.eig函數(shù)用法)
這篇文章主要介紹了numpy求矩陣的特征值與特征向量(np.linalg.eig函數(shù)用法)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
Python+Selenium定位不到元素常見原因及解決辦法(報：NoSuchElementException)
這篇文章主要介紹了Python+Selenium定位不到元素常見原因及解決辦法(報：NoSuchElementException),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
django如何連接已存在數(shù)據(jù)的數(shù)據(jù)庫
這篇文章主要給大家介紹了關(guān)于django如何連接已存在數(shù)據(jù)的數(shù)據(jù)庫的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用django具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08
這篇文章主要為大家詳細(xì)介紹了python如何提取英語pdf內(nèi)容并翻譯，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
PyTorch中torch.tensor()和torch.to_tensor()的區(qū)別
在Pytorch中Tensor和tensor都用于生成新的張量,但二者并不相同,下面這篇文章主要給大家介紹了關(guān)于PyTorch中torch.tensor()和torch.to_tensor()區(qū)別的相關(guān)資料,需要的朋友可以參考下2023-01-01
Python 中的一個有用的基本加密庫就叫做 cryptography 。這篇文章主要介紹了Python玩轉(zhuǎn)加密的技巧,需要的朋友可以參考下2019-05-05