快捷導(dǎo)航

ChatGPT 幫我自動(dòng)編寫 Python 爬蟲腳本的詳細(xì)過程

更新時(shí)間：2023年02月16日 10:48:29 作者：Python數(shù)據(jù)開發(fā)

ChatGPT是一種基于大語言模型的生成式AI，換句話說它可以自動(dòng)生成類似人類語言的文本，把梳理好的有邏輯的答案呈現(xiàn)在你面前，這完全不同于傳統(tǒng)搜索工具，這篇文章主要介紹了ChatGPT 幫我自動(dòng)編寫 Python 爬蟲腳本,需要的朋友可以參考下

1、爬取知乎上的專欄文章

提問：

幫我用python寫代碼爬取網(wǎng)站

ChatGPT:

把給到的代碼放進(jìn)PyCharm中跑一遍，發(fā)現(xiàn)沒有報(bào)錯(cuò)，且打印出了內(nèi)容。

import requests
from bs4 import BeautifulSoup

url = "https://zhuanlan.zhihu.com/p/595050104"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

title = soup.find("h1", class_="Post-Title").text.strip()
body = soup.find("div", class_="Post-RichText").text.strip()

print("Title:", title)
print("Body:", body)

雖然說ChatGPT給出的代碼可以執(zhí)行，但它也提到由于爬取的網(wǎng)站會(huì)隨時(shí)變更，也就是HTML會(huì)變動(dòng)，所以代碼可能需要調(diào)整才能正常工作。

凡是寫過爬蟲的同學(xué)應(yīng)該都能理解，人工寫的爬蟲代碼也沒法一勞永逸，需要隨時(shí)改。

這一點(diǎn)ChatGPT提示的很有道理。

后來我測試了medium、百家號(hào)上的文章，ChatGPT提供的代碼形式幾乎和上面一致，沒法直接執(zhí)行獲取結(jié)果，需要微調(diào)后才能跑。

2. 爬取京東某商品的評(píng)論

為了給ChatGPT增加難度，我試著讓它去爬取某電商網(wǎng)站的用戶評(píng)論

提問：

請(qǐng)用python寫代碼爬取這個(gè)京東商品的所有用戶評(píng)論 https://item.jd.com/13652780.html

ChatGPT:

可能這個(gè)網(wǎng)頁是動(dòng)態(tài)頁面，ChatGPT提供的方法并不能爬取評(píng)論。

我接著問：

爬取的結(jié)果是空值怎么辦？

ChatGPT:

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-nnDP8sph-1676473447460)(null)]

ChatGPT提供了3種可能存在的原因，但并沒有幫我修改代碼。

于是我又問：

還是空值請(qǐng)幫我重新寫代碼爬取

ChatGPT:

這次就牛掰了，它重新用Selenium寫了爬蟲代碼，并告訴我爬取動(dòng)態(tài)網(wǎng)頁需要模擬瀏覽器行為，因此得用selenium技術(shù)。

我沒有運(yùn)行去測試代碼正確與否，但ChatGPT確實(shí)驚艷到我了，能夠前后關(guān)聯(lián)對(duì)話內(nèi)容，并給出正確的解決方法。

3.繼續(xù)更多的測試

上面只是蜻蜓點(diǎn)水的玩玩，ChatGPT就已經(jīng)吸引到我，

我準(zhǔn)備多花時(shí)間去測試ChatGPT應(yīng)對(duì)各種爬蟲的解決方案，以及它對(duì)bug的修復(fù)能力。

僅僅從寫代碼層面看，ChatGPT已經(jīng)可以媲美中高級(jí)程序員的水平了，而且它的知識(shí)范疇遠(yuǎn)超人類最厲害的程序員

ChatGPT能夠根據(jù)對(duì)話生成人想要的內(nèi)容，這是AI巨大的突破，未來它的應(yīng)用之廣難以想象。

到此這篇關(guān)于ChatGPT 幫我自動(dòng)編寫 Python 爬蟲腳本的文章就介紹到這了,更多相關(guān)ChatGPT自動(dòng)編寫 Python 爬蟲腳本內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: