python爬取網(wǎng)頁轉(zhuǎn)換為PDF文件

更新時間：2018年06月07日 15:02:19 作者：moluchase

這篇文章主要為大家詳細(xì)介紹了python爬取網(wǎng)頁轉(zhuǎn)換為PDF文件，具有一定的參考價值，感興趣的小伙伴們可以參考一下

爬蟲的起因

官方文檔或手冊雖然可以查閱，但是如果變成紙質(zhì)版的豈不是更容易翻閱與記憶。如果簡單的復(fù)制粘貼，不知道何時能夠完成。于是便開始想著將Android的官方手冊爬下來。

全篇的實現(xiàn)思路

分析網(wǎng)頁
學(xué)會使用BeautifulSoup庫
爬取并導(dǎo)出

參考資料：

* 把廖雪峰的教程轉(zhuǎn)換為PDF電子書
* Requests文檔
* Beautiful Soup文檔

配置

在Ubuntu下使用Pycharm運行成功
轉(zhuǎn)PDF需要下載wkhtmltopdf

具體過程

網(wǎng)頁分析

如下所示的一個網(wǎng)頁,要做的是獲取該網(wǎng)頁的正文和標(biāo)題，以及左邊導(dǎo)航條的所有網(wǎng)址

接下來的工作就是找到這些標(biāo)簽嘍…

關(guān)于Requests的使用

詳細(xì)參考文檔，這里只是簡單的使用Requests獲取html以及使用代理翻墻（網(wǎng)站無法直接訪問，需要VPN）

proxies={
 "http":"http://vpn的IP:port",
 "https":"https://vpn的IP:port",
 }

response=requests.get(url,proxies=proxies)

Beautiful Soup的使用

參考資料里面有Beautiful Soup文檔，將其看完后，可以知道就講了兩件事：一個是查找標(biāo)簽，一個是修改標(biāo)簽。
本文需要做的是：

1. 獲取標(biāo)題和所有的網(wǎng)址,涉及到的是查找標(biāo)簽

#對標(biāo)簽進行判斷，一個標(biāo)簽含有href而不含有description，則返回true
#而我希望獲取的是含有href屬性而不含有description屬性的<a>標(biāo)簽，（且只有a標(biāo)簽含有href）
def has_href_but_no_des(tag):
 return tag.has_attr('href') and not tag.has_attr('description')

#網(wǎng)頁分析，獲取網(wǎng)址和標(biāo)題
def parse_url_to_html(url):

 response=requests.get(url,proxies=proxies)
 soup=BeautifulSoup(response.content,"html.parser")
 s=[]#獲取所有的網(wǎng)址
 title=[]#獲取對應(yīng)的標(biāo)題
 tag=soup.find(id="nav")#獲取第一個id為"nav"的標(biāo)簽，這個里面包含了網(wǎng)址和標(biāo)題
 for i in tag.find_all(has_href_but_no_des):
 s.append(i['href'])
 title.append(i.text)

 #獲取的只是標(biāo)簽集，需要加html前綴
 htmls = "<html><head><meta charset='UTF-8'></head><body>"
 with open("android_training_3.html",'a') as f:
 f.write(htmls)

對上面獲取的網(wǎng)址分析，獲取正文，并將圖片取出存于本地;涉及到的是查找標(biāo)簽和修改屬性

#網(wǎng)頁操作，獲取正文及圖片
def get_htmls(urls,title):

 for i in range(len(urls)):
 response=requests.get(urls[i],proxies=proxies)
 soup=BeautifulSoup(response.content,"html.parser")
 htmls="<div><h1>"+str(i)+"."+title[i]+"</h1></div>"
 tag=soup.find(class_='jd-descr')
 #為image添加相對路徑，并下載圖片
 for img in tag.find_all('img'):
  im = requests.get(img['src'], proxies=proxies)
  filename = os.path.split(img['src'])[1]
  with open('image/' + filename, 'wb') as f:
  f.write(im.content)
  img['src']='image/'+filename
 htmls=htmls+str(tag)
 with open("android_training_3.html",'a') as f:
  f.write(htmls)
 print(" (%s) [%s] download end"%(i,title[i]))
 htmls="</body></html>"
 with open("android_training_3.html",'a') as f:
 f.write(htmls)

2.轉(zhuǎn)為PDF

這一步需要下載wkhtmltopdf,在Windows下執(zhí)行程序一直出錯..Ubuntu下可以

def save_pdf(html):
 """
 把所有html文件轉(zhuǎn)換成pdf文件
 """
 options = {
 'page-size': 'Letter',
 'encoding': "UTF-8",
 'custom-header': [
  ('Accept-Encoding', 'gzip')
 ]
 }
 pdfkit.from_file(html, "android_training_3.pdf", options=options)

最后的效果圖

這里寫圖片描述