Python爬蟲實例爬取網(wǎng)站搞笑段子
眾所周知,python是寫爬蟲的利器,今天作者用python寫一個小爬蟲爬下一個段子網(wǎng)站的眾多段子。
目標段子網(wǎng)站為“http://ishuo.cn/”,我們先分析其下段子的所在子頁的url特點,可以輕易發(fā)現(xiàn)發(fā)現(xiàn)為“http://ishuo.cn/subject/”+數(shù)字,
經(jīng)過測試發(fā)現(xiàn),該網(wǎng)站的反扒機制薄弱,可以輕易地爬遍其所有站點。
現(xiàn)在利用python的re及urllib庫將其所有段子扒下
import sys import re import urllib #返回html格式 def gethtml(url): page=urllib.urlopen(url) html=page.read() return html def getmessage(html): p=re.compile(r'<div class="content">(.*)</div><script type="text/javascript">') #對段子內(nèi)容進行正則匹配 message=re.findall(p,html)#返回正則匹配的結(jié)果 return message fp=open('data.txt','w+') #實際范圍比1~7000要大,因為時間原因這里暫定為1~7000 for i in range(1,7000): i=str(i) web=gethtml('http://ishuo.cn/subject/'+i) #該網(wǎng)站段子的鏈接特點 message=getmessage(web) message2=''.join(message)#將結(jié)果轉(zhuǎn)換為字符串類型 #message2=message2.decode('utf8','strict') message2=str(message2) print message2 fp.writelines(message2+'\n') #將爬下的眾多段子寫入文件中 fp.close()
data.txt收錄了其中爬下段子的結(jié)果:
收錄的部分結(jié)果如下:
【韓寒】明明下流的人,湊一起就叫上流社會? 日子過不下去的時候,我就得向錢看!只有當日子過滋潤了,我才能夠向前看! 某公司一群基層員工年底聚會,沒有加薪?jīng)]有升職連年終獎金都被取消了,打算借酒澆愁一回。有人帶了瓶酒來,大家一看那酒的名字,眼淚就都撲簌簌地往下掉開了,還有人頓時抱頭痛哭了一場。那酒的名字叫老白干。 【段子】群里聽到的段子,太樂了:路上聽到一大叔情緒激動地打電話:對!國足進3個球了!沒錯!是男足!沒錯沒錯!是和韓國比賽!什么?對方?對對對!對方也是男足! 一女士向閨蜜訴說,他結(jié)婚原因:他向我求婚,我說跟我結(jié)婚,沒門!我還沒發(fā)昏到那程度!后來,他就用石頭把我碰昏了!我就傻了,死心塌地跟他結(jié)婚了!閨蜜說:你不告他,反而跟他結(jié)婚,真是發(fā)昏了!他用什么石頭碰的你呀?女士說:他用鉆石! 【冷笑話】一男子提著一個皮包,擠上了公共汽車,車上人擁擠,一小偷用刀片割其皮包,竊其財物。一勇敢女子見狀偷偷的提醒身邊的男士,但由于緊張,說道:“先生,有人要割你的包皮”…… 【段子】外交部工作:周一表示不滿;周二抗議;周三強烈譴責;周四嚴正交涉;周五深表遺憾。周六、周日休息。 經(jīng)考證孔子是經(jīng)濟學(xué)家,有其語為證: 三十而立--三十兩銀子只能站著聽課; 四十不惑--四十兩就能一直問到?jīng)]疑問為止; 五十知天命--五十兩就能知道明天考試命題; 六十耳順--六十兩老師會說你喜歡聽的話,七十而從心所欲-七十兩你來不來、學(xué)習(xí)的怎么樣都隨便了。 班車上,坐在身邊的一位美女同事睡著了,竟然打起呼嚕,覺得這樣很丟臉,就用手輕推她,只見她喃喃的說:不要了老公,明天吧。 【太尖銳】蒙古國是個純內(nèi)陸國,卻有個海軍部。中國老大哥很好奇地問:”你們連海都沒有,搞什么海軍部!?”蒙古人回答道:”你們不也有文化部么?!” 一女程序員征婚:SELECT * FROM 男人 WHERE 未婚=true and 有房=true and 有車=true and 條件 in (‘大方',\'紳士',\'會做家務(wù)\',\'帥氣\',\'最好還能帶孩子') 一資深的程序員回復(fù):(0 row(s) affected) 【小笑話】孔子,孟子,老子三人同時在豬圈睡了一夜之后,發(fā)現(xiàn)母豬懷孕了,經(jīng)DNA檢驗證明,肯定不是孔子干的,也不是孟子干的,請問,那是誰干的? 【冷笑話】一妓深夜應(yīng)召,路遇巡警,巡警大喝:誰?干什么的?女回應(yīng):妓者!巡警肅然起敬,柔和問道:那個報社的?女答:“和男晚抱”!大笑而去! 無聊的最高境界是什么?擺渡結(jié)果如下: 1、對著鏡子,數(shù)自己的頭發(fā); 2、拿著剃刀等胡子長出來; 3、跟正吸你血的蚊子聊天; 4、看著天花板上的污漬,把它想成山水畫; 5、給N年以前的報紙校對錯別字; 6、喝一大杯水,然后坐到馬桶上去等著。 【經(jīng)典語錄】當我要找我崇拜的人的時候,我就照鏡子。 —— 李敖 看過冬奧會冰壺比賽后,一大媽逢人便說:“你看這外國奧運會的志愿者就是不一般啊,擦地每一個都擦得那么認真……” 【胡歌】我眼中的世界從未如此純凈 我的左手邊是一面雪白的墻 我的右手邊是一面和左手邊一樣的墻 我的前邊有一扇門 從那里出去可以看到更多白花花的墻 雖然已是午夜時分 窗外卻分外敞亮 我后邊的萬家燈火足以照亮此時白白的墻 我是不是瘋了? 【冷笑話】:單位有個同事,蒙古人,屬于?;暧翁焱獾拇笊窦壢宋?。一年休假回家,假期過了好幾天還不回來,領(lǐng)導(dǎo)給打電話,丫在電話里說:領(lǐng)導(dǎo),我還在呼倫貝爾草原上騎馬找我家呢,我家是游牧民族,現(xiàn)在不知道搬到哪里了。#搞笑# 【地名簡述】一次歷史考試,有一道題是讓同學(xué)們?nèi)芜x十個國家或地區(qū),并加以簡述。 一個學(xué)生是這樣答的:從前有個柬埔寨,里面有個阿拉伯。一天,他帶著墨西哥去爬山,爬到新加坡時,突然來了只頭上長著好望角的巴拿馬,嚇出一身阿富汗,拔腿跑進名古屋急忙關(guān)也門,結(jié)果碰掉了一顆葡萄牙。 【幽默說婆媳】為什么天底下最難搞的關(guān)系是婆媳關(guān)系?1.媳婦的別稱是“新娘”,一個新的娘突然來到家里,舊的娘心里能好受嗎?2.婆婆用了五年的時間教會兒子穿衣服,媳婦用不到五秒鐘就能讓兒子把衣服脫光,這是一種怎樣的心理落差? 在一個潑水節(jié)上,大家都開心瘋狂的相互潑水,突然有一個人破口大罵:“他媽的,誰在潑我”。旁邊的人說他,你干嘛罵人啊,人潑你是對你的祝福?。∵@個人氣急敗壞的說:你知道什么?哪個王八蛋是用開水在潑我! 1、一定要把多余的房子賣掉,#地震#來了才知道,原來不動產(chǎn)也是會動的,而且動起來嚇死人。 2、余震就象打麻將,如果半天沒什么動靜,就絕對是在整大的! 3、看余震的心情就象初戀少女看情人,既怕他不來又怕他亂來! 【冷笑話】1.一居室,求合租,面議。2.小事招魂,大事挖墳。3.我覺得我還可以搶救一下!4.提供鞭尸服務(wù),一次100!5.基因重組中,請稍候二十年6.單挑冥王哈迪斯中,征求組隊!7.當你看清這行字的時候:朋友,你踩到我了。8.老子終于不用怕鬼了!9.給爺笑一個,要不爺給你笑一個? 局長發(fā)短信給女秘書:想死你了,在國際酒店1203號房,快來!卻不小心按了群發(fā)鍵。片刻,回復(fù)分至。女秘書:德性,干嘛猴急!女科長:領(lǐng)導(dǎo),今天不方便,改天吧!男副局長:不知道你也是同志???女部下:馬上到!對門王姐:今天老公在家,明天行嗎?女副局長:你才想起我呀?老婆:回來??!還浪費那錢! 愛情和婚姻就像老黑熊掰玉米棒子,不要指望你能掰到最大和最好的,要挑自己最喜歡最滿意的掰一個,掰到了就不要在去在掰了。要不然就會掰來掰去掰了個最小的最不喜歡的回來。 【小偷也幽默】相對兩戶人家,一戶防盜門,一戶普通木門。一天,防盜門這家失竊,發(fā)現(xiàn)#小偷#在普通木門門口留下了紙條:你相信我,我也相信你。 [強人語錄]:世界上最遠的距離.不是生與死.而是我在電信你在網(wǎng)通 世界上最遠的距離,不是樹與樹的距離,而是同根生長的樹枝,卻無法在風(fēng)中相依。(~ o ~)~zZ 世界上最遠的距離是啥?是兩個人到了邊境,你過去了,我護照忘帶了。。 溫總理語錄:“一個人不管有多聰明,多能干,背景條件有多好,如果不懂得如何去做人、做事,那么他最終的結(jié)局肯定是失敗。做人做事是一門藝術(shù),更是一門學(xué)問。很多人之所以一輩子都碌碌無為,那是因為他活了一輩子都沒有弄明白該怎樣去做人做事。” 【極品冷笑話】:劉若英向周杰倫求婚,居然遭拒?。?!周董深情地說:“奶茶,我更喜歡優(yōu)樂美!” 你知道哪兩種水果居然有手機?--“蘿卜青菜,各有索愛?!? 糗事百科:“我站起身來給一孕婦讓座,她疑惑地看了看我,忽然明白過來,哭笑不得道:同學(xué),我這是胖!” 有些事,我們總是弄不懂;有些人,我們總是猜不透;有些道,我們總是悟不盡;有些理,我們總是想不通;有些坎,我們總是跨不過;有些傷,我們總是治不好;有些天,我們總是睡不著;有些地,我們總是去不了;有些情,我們總是說不出;有些愛,我們總是得不到。------人生十大困惑 六歲的小孩第一次觀賞電視里的芭蕾舞,看到臺上演員們踮著腳尖急轉(zhuǎn)時,他禁不住問他的父親:「他們?yōu)槭颤N不選些高個的女孩來跳呢?」 愛情就像白米飯,浪漫過程就像菜。人餓時,會想著吃飯。但吃完后,更多人喜歡去評論菜好不好吃,而忽略白米飯。 用別人的智慧充實自己,不用別人的智慧貶低自己;用別人的成功激勵自己,不用別人的成功折磨自己;用別人的錯誤提醒自己,不用別人的錯誤娛樂自己。 【老婆和情人的差別】老婆會告訴男人青菜多少錢一斤,情人會告訴男人夜空有多少顆星星。 【我可以等】獄吏問一個即將被處死的罪犯早餐想吃什么?罪犯說:我想吃桃子。獄吏:你知道,現(xiàn)在是冬天,哪有桃子!罪犯說:沒關(guān)系,我可以等。
爬下的段子為編寫如聊天機器人、公眾號、段子發(fā)布點提供了豐富素材。
總結(jié)
以上就是本文關(guān)于Python爬蟲實例爬取網(wǎng)站搞笑段子的全部內(nèi)容,希望對大家有所幫助,感興趣的朋友可以繼續(xù)參閱本站:Python入門之三角函數(shù)全解【收藏】、python好玩的項目—色情圖片識別代碼分享、Python實現(xiàn)一個簡單的驗證碼程序等,有什么問題可以隨時留言,小編會及時回復(fù)大家的。
感謝朋友們對本站的支持!
相關(guān)文章
Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解
這篇文章主要介紹了Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下2019-05-05python爬蟲搭配起B(yǎng)ilibili唧唧的流程分析
這篇文章主要介紹了python爬蟲搭配起B(yǎng)ilibili唧唧的流程分析,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-12-12Tensorflow: 從checkpoint文件中讀取tensor方式
今天小編就為大家分享一篇Tensorflow: 從checkpoint文件中讀取tensor方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02python3實現(xiàn)網(wǎng)絡(luò)爬蟲之BeautifulSoup使用詳解
這篇文章主要介紹了python3實現(xiàn)網(wǎng)絡(luò)爬蟲之BeautifulSoup使用詳解,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-12-12