欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python制作最美應(yīng)用的爬蟲

 更新時間:2015年10月28日 08:57:40   作者:土豆去哪了  
這篇文章主要介紹了python制作最美應(yīng)用的爬蟲的相關(guān)資料,需要的朋友可以參考下

安卓最美應(yīng)用頁面爬蟲,爬蟲很簡單,設(shè)計的東西到挺多的
文件操作
正則表達(dá)式
字符串替換等等

import requests
import re
url = "http://zuimeia.com"
r = requests.get('http://zuimeia.com/community/app/hot/?platform=2')
pattern = re.compile(r'<a class="community-app-cover-wrapper" href="(.*?)" target="_blank">')
urlList = pattern.findall(r.content)

def requestsUrl(url):
 r = requests.get(url)
 title = re.findall(r'"app-title"><h1>(.*?)</h1>',r.content)
 #print title
 category = re.findall(r'<a class="app-tag" href="/community/app/category/title/.*?/?platform=2">(.*?)</a>',r.content)
 #print category

 describe = re.findall(r'<div id="article_content">(.*?)<div class="community-image-wrapper">',r.content)
 #print type(describe[0])
 strdescribe = srtReplace(describe[0])
 #print strdescribe

 downloadUrl = re.findall(r'<a class="download-button direct hidden" href="(.*?)"',r.content)
 #print downloadUrl

 return title,category,strdescribe,downloadUrl

def srtReplace(string):
 listReplace = ['<p>', '<br>', '<h1>', '<h2>', '<h3>', '<h4>', '<h5>', '<h6>', '<h7>','<strong>','</p>', '<br/>', '</h1>', '</h2>', '</h3>', '</h4>', '</h5>',
     '</h6>', '</h7>','</strong>','<b>', '</b>']
 for eachListReplace in listReplace:
  string = string.replace(str(eachListReplace),'\n')

 string = string.replace('\n\n','')
 return string

def categornFinal(category):
 categoryFinal =''
 for eachCategory in category:
  categoryFinal = categoryFinal+str(eachCategory)+'-->'
 return categoryFinal

def urlReplace(url):
 url = url.replace('&amp;', '&')
 return url

requestsUrl("http://zuimeia.com/community/app/27369/?platform=2")
for eachUrl in urlList:
 eachUrl = url+eachUrl
 content = requestsUrl(eachUrl)
 categoryFinal =''

 title = content[0][0]
 category = categornFinal(content[1])
 strdescribe = content[2]
 downloadUrl = urlReplace(content[3][0])

 with open('c:/wqa.txt', 'a+') as fd:
  fd.write('title:'+title+'\n'+'category:'+category+'\n'+'strdescribe:'+strdescribe+'\n'+'downloadUrl:'+downloadUrl+'\n\n\n-----------------------------------------------------------------------------------------------------------------------------\n\n\n')

相關(guān)文章

  • Python操控Chrome瀏覽器進行網(wǎng)頁操作

    Python操控Chrome瀏覽器進行網(wǎng)頁操作

    這篇文章將為您展示如何通過Python控制瀏覽器實現(xiàn)網(wǎng)頁的打開、頁面的切換和關(guān)閉的基本操作,文中的示例代碼講解詳細(xì),感興趣的可以了解一下
    2023-06-06
  • python基本語法練習(xí)實例

    python基本語法練習(xí)實例

    下面小編就為大家?guī)硪黄猵ython基本語法練習(xí)實例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-09-09
  • python如何在列表、字典中篩選數(shù)據(jù)

    python如何在列表、字典中篩選數(shù)據(jù)

    這篇文章主要為大家詳細(xì)介紹了python如何在列表、字典中篩選數(shù)據(jù),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-03-03
  • python使用PyGame播放Midi和Mp3文件的方法

    python使用PyGame播放Midi和Mp3文件的方法

    這篇文章主要介紹了python使用PyGame播放Midi和Mp3文件的方法,涉及Python操作多媒體文件的相關(guān)技巧,需要的朋友可以參考下
    2015-04-04
  • 如何優(yōu)雅地處理Django中的favicon.ico圖標(biāo)詳解

    如何優(yōu)雅地處理Django中的favicon.ico圖標(biāo)詳解

    默認(rèn)情況下,瀏覽器訪問一個網(wǎng)站的時候,同時還會向服務(wù)器請求"/favicon.ico"這個URL,目的是獲取網(wǎng)站的圖標(biāo),下面這篇文章主要給大家介紹了關(guān)于如何優(yōu)雅地處理Django中favicon.ico圖標(biāo)的相關(guān)資料,需要的朋友可以參考下
    2018-07-07
  • Python流程控制常用工具詳解

    Python流程控制常用工具詳解

    這篇文章主要介紹了Python流程控制常用工具詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-02-02
  • python3中requests庫重定向獲取URL

    python3中requests庫重定向獲取URL

    這篇文章主要介紹了python3中requests庫重定向獲取URL,文章圍繞主題展開詳細(xì)的內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-09-09
  • Python matplotlib如何繪制各種流線圖

    Python matplotlib如何繪制各種流線圖

    在Python中不僅可以繪制折線圖、柱狀圖、散點圖等常規(guī)圖外,還支持繪制量場圖、頻譜圖、提琴圖、箱型圖等特殊圖。本文將主要介紹如何繪制流線圖,需要的朋友可以參考一下
    2021-12-12
  • python創(chuàng)建學(xué)生成績管理系統(tǒng)

    python創(chuàng)建學(xué)生成績管理系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了python創(chuàng)建學(xué)生成績管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-11-11
  • python Zmail模塊簡介與使用示例

    python Zmail模塊簡介與使用示例

    這篇文章主要介紹了python Zmail模塊簡介與使用示例,幫助大家利用python收發(fā)郵件,感興趣的朋友可以了解下
    2020-12-12

最新評論