python網(wǎng)絡(luò)爬蟲(chóng)采集聯(lián)想詞示例
python爬蟲(chóng)_采集聯(lián)想詞代碼
#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特別提示,下面這個(gè)list中的代理ip可能失效,請(qǐng)換上有效的代理ip
iplist = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集團(tuán)","科技"]
for item in list1:
ip= choice(iplist)
gjc = urllib.quote(item)
url = "http://sug.so.#/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
headers = {
"GET":url,
"Host":"sug.so.#",
"Referer":"http://www.so.com/",
"User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
}
proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener( opener )
req = urllib2.Request(url)
for key in headers:
req.add_header(key,headers[key])
html = urllib2.urlopen(req).read()
ss = re.findall("\"(.*?)\"",html)
for item in ss:
print item
time.sleep(2)
- python3使用urllib模塊制作網(wǎng)絡(luò)爬蟲(chóng)
- Python網(wǎng)絡(luò)爬蟲(chóng)出現(xiàn)亂碼問(wèn)題的解決方法
- Python網(wǎng)絡(luò)爬蟲(chóng)實(shí)例講解
- python 網(wǎng)絡(luò)爬蟲(chóng)初級(jí)實(shí)現(xiàn)代碼
- 詳解Python網(wǎng)絡(luò)爬蟲(chóng)功能的基本寫(xiě)法
- Python網(wǎng)絡(luò)爬蟲(chóng)與信息提取(實(shí)例講解)
- Python網(wǎng)絡(luò)爬蟲(chóng)中的同步與異步示例詳解
相關(guān)文章
解析Mac OS下部署Pyhton的Django框架項(xiàng)目的過(guò)程
這篇文章主要介紹了Mac OS下部署Pyhton的Django框架項(xiàng)目的過(guò)程,還附帶將了一個(gè)gunicorn結(jié)合Nginx來(lái)部署Django應(yīng)用的方法,需要的朋友可以參考下2016-05-05PyCharm專業(yè)最新版2019.1安裝步驟(含激活碼)
這篇文章主要介紹了PyCharm專業(yè)最新版2019.1安裝步驟(含激活碼),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10python生成器,可迭代對(duì)象,迭代器區(qū)別和聯(lián)系
這篇文章主要介紹了python生成器,可迭代對(duì)象,迭代器區(qū)別和聯(lián)系,通過(guò)對(duì)比用法讓大家更加深入理解相關(guān)知識(shí),需要的朋友參考學(xué)習(xí)下吧。2018-02-02用python按照?qǐng)D像灰度值統(tǒng)計(jì)并篩選圖片的操作(PIL,shutil,os)
這篇文章主要介紹了用python按照?qǐng)D像灰度值統(tǒng)計(jì)并篩選圖片的操作(PIL,shutil,os),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06python異步編程之a(chǎn)syncio低階API的使用詳解
asyncio中低階API的種類很多,涉及到開(kāi)發(fā)的5個(gè)方面,這篇文章主要為大家詳細(xì)介紹了這些低階API的具體使用,感興趣的小伙伴可以學(xué)習(xí)一下2024-01-01pandas實(shí)現(xiàn)DataFrame顯示最大行列,不省略顯示實(shí)例
今天小編就為大家分享一篇pandas實(shí)現(xiàn)DataFrame顯示最大行列,不省略顯示實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12Python函數(shù)值傳遞引用傳遞及形式參數(shù)和實(shí)際參數(shù)的區(qū)別
這篇文章主要介紹了Python函數(shù)值傳遞引用傳遞及形式參數(shù)和實(shí)際參數(shù)的區(qū)別,具有一定的參考價(jià)值,需要的小伙伴可以參考一下,希望對(duì)你的學(xué)習(xí)有所幫助2022-05-05