一則python3的簡單爬蟲代碼
更新時間：2014年05月26日 17:29:18 作者：
最近一直在學(xué)習(xí)Python，還有網(wǎng)絡(luò)爬蟲，于是就想起來把2者結(jié)合一下，所以就有了本文。
不得不說python的上手非常簡單。在網(wǎng)上找了一下，大都是python2的帖子，于是隨手寫了個python3的。代碼非常簡單就不解釋了，直接貼代碼。
復(fù)制代碼 代碼如下:
#test rdp
import urllib.request
import re<br>
#登錄用的帳戶信息
data={}
data['fromUrl']=''
data['fromUrlTemp']=''
data['loginId']='12345'
data['password']='12345'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#登錄地址
#url='http://192.168.1.111:8080/loginCheck'
postdata = urllib.parse.urlencode(data)
postdata = postdata.encode('utf-8')
headers = { 'User-Agent' : user_agent }
#登錄
res = urllib.request.urlopen(url,postdata)
#取得頁面html<br>strResult=(res.read().decode('utf-8'))
#用正則表達式取出所有A標(biāo)簽
p = re.compile(r'<a href="(.*?)".*?>(.*?)</a>')
for m in p.finditer(strResult):
print (m.group(1))#group(1)是href里面的內(nèi)容，group(2)是a標(biāo)簽里的文字
關(guān)于cookie、異常等處理看了一下，沒有花時間去處理，畢竟只是想通過寫爬蟲來學(xué)習(xí)python。
相關(guān)文章
這篇文章主要介紹了淺談python爬蟲使用Selenium模擬瀏覽器行為，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
本文主要介紹了python df遍歷的N種方式，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
Python在后臺自動解壓各種壓縮文件的實現(xiàn)方法
這篇文章主要介紹了Python在后臺自動解壓各種壓縮文件的實現(xiàn)方法,本文通過實例代碼給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
這篇文章主要介紹了python中文分詞庫jieba使用方法詳解,需要的朋友可以參考下2020-02-02
windows下python 3.9 Numpy scipy和matlabplot的安裝教程詳解
這篇文章主要介紹了windows下python 3.9 Numpy scipy和matlabplot的安裝教程詳解,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python自動連接ssh的方法,實例分析了基于Python實現(xiàn)連接ssh的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
關(guān)于Python3 lambda函數(shù)的深入淺出
今天小編就為大家分享一篇關(guān)于Python3 lambda函數(shù)的深入淺出，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
這篇文章主要介紹了Python基于BeautifulSoup爬取京東商品信息,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-06-06
在編寫Python腳本時,了解腳本的執(zhí)行時間通常是很有用的,特別是在優(yōu)化代碼或評估性能時,Python提供了多種方法來測量腳本的執(zhí)行時間,從內(nèi)置模塊到第三方庫,可以選擇適合你需求的方式,本文將介紹計算 Python 腳本執(zhí)行時間的多種方法,需要的朋友可以參考下2023-11-11
這篇文章主要介紹了Python繪制K線圖之可視化神器pyecharts的使用，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03