欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并且解析的實(shí)例

 更新時(shí)間:2014年09月20日 17:39:07   投稿:shichen2014  
這篇文章主要介紹了Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并且解析的功能實(shí)例,主要以解析百度問答為例說(shuō)明其原理與方法,需要的朋友可以參考下

本文以實(shí)例形式講述了Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并解析的功能。主要解析問答與百度的首頁(yè)。分享給大家供大家參考之用。

主要功能代碼如下:

#!/usr/bin/python
#coding=utf-8

import sys 
import re
import urllib2
from urllib import urlencode
from urllib import quote
import time
maxline = 2000

wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")
baidu = re.compile("<a href=\"http://www.baidu.com/link\?url=.+\".*?>更多知道相關(guān)問題.*?</a>")
f1 = open("baidupage.txt","w")
f2 = open("wendapage.txt","w")

for line in sys.stdin:
  if maxline == 0:
    break
  query = line.strip();
  time.sleep(1);
  recall_url = "http://www.so.com/s?&q=" + query;
  response = urllib2.urlopen(recall_url);
  html = response.read();                                                   
  f1.write(html)
  m = wenda.search(html);
  if m:
    if m.group(1) == "110":
      print query + "\twenda\t0";
    else:
      print query + "\twenda\t1";
  else:
    print query + "\twenda\t0";
  recall_url = "http://www.baidu.com/s?wd=" + query +"&ie=utf-8";
  response = urllib2.urlopen(recall_url);
  html = response.read();
  f2.write(html)
  m = baidu.search(html);
  if m:
    print query + "\tbaidu\t1";
  else:
    print query + "\tbaidu\t0";
  maxline = maxline - 1;
f1.close()
f2.close()

希望本文所述對(duì)大家Python程序設(shè)計(jì)的學(xué)習(xí)有所幫助。

相關(guān)文章

  • Django模塊學(xué)習(xí)之模塊語(yǔ)言詳解

    Django模塊學(xué)習(xí)之模塊語(yǔ)言詳解

    模板語(yǔ)言渲染的整個(gè)過程其實(shí)就是將html轉(zhuǎn)換成函數(shù),并為該函數(shù)提供全局變量,然后執(zhí)行該函數(shù),下面這篇文章主要給大家介紹了關(guān)于Django模塊學(xué)習(xí)之模塊語(yǔ)言的相關(guān)資料,需要的朋友可以參考下
    2021-11-11
  • Pandas讀取excel合并單元格的正確方式(openpyxl合并單元格拆分并填充內(nèi)容)

    Pandas讀取excel合并單元格的正確方式(openpyxl合并單元格拆分并填充內(nèi)容)

    Excel文件中可能包含合并單元格的數(shù)據(jù),下面這篇文章主要給大家介紹了關(guān)于Pandas讀取excel合并單元格的正確方式,主要介紹的openpyxl合并單元格拆分并填充內(nèi)容,需要的朋友可以參考下
    2023-06-06
  • 用Python制作簡(jiǎn)單的樸素基數(shù)估計(jì)器的教程

    用Python制作簡(jiǎn)單的樸素基數(shù)估計(jì)器的教程

    這篇文章主要介紹了用Python制作簡(jiǎn)單的樸素基數(shù)估計(jì)器的教程,同時(shí)介紹了如何去改進(jìn)精度來(lái)進(jìn)行算法優(yōu)化,需要的朋友可以參考下
    2015-04-04
  • django如何通過類視圖使用裝飾器

    django如何通過類視圖使用裝飾器

    這篇文章主要介紹了django如何設(shè)計(jì)裝飾器過濾黑名單,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-07-07
  • 利用Python實(shí)現(xiàn)繪制論文中的曲線圖

    利用Python實(shí)現(xiàn)繪制論文中的曲線圖

    這篇文章主要為大家詳細(xì)介紹了如何利用Python語(yǔ)言實(shí)現(xiàn)繪制論文中需要的曲線圖,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2023-03-03
  • python進(jìn)行圖片相似度對(duì)比的兩種實(shí)現(xiàn)方法

    python進(jìn)行圖片相似度對(duì)比的兩種實(shí)現(xiàn)方法

    Python提供了一些庫(kù)和工具可以用于圖片的相似度比對(duì),本文就詳細(xì)的介紹了兩種實(shí)現(xiàn)方法,感知哈希和結(jié)構(gòu)相似性,下面就來(lái)介紹一下,感興趣的可以了解一下
    2023-10-10
  • Python中json.dumps()和json.dump()的區(qū)別小結(jié)

    Python中json.dumps()和json.dump()的區(qū)別小結(jié)

    在Python中,json.dumps()和json.dump()是兩個(gè)常用的函數(shù),本文主要介紹了Python中json.dumps()和json.dump()的區(qū)別小結(jié),具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-02-02
  • python使用PIL和matplotlib獲取圖片像素點(diǎn)并合并解析

    python使用PIL和matplotlib獲取圖片像素點(diǎn)并合并解析

    這篇文章主要介紹了python使用PIL和matplotlib獲取圖片像素點(diǎn)并合并解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-09-09
  • Python數(shù)據(jù)結(jié)構(gòu)之遞歸可視化詳解

    Python數(shù)據(jù)結(jié)構(gòu)之遞歸可視化詳解

    遞歸函數(shù)是直接調(diào)用自己或通過一系列語(yǔ)句間接調(diào)用自己的函數(shù)。遞歸在程序設(shè)計(jì)有著舉足輕重的作用,在很多情況下,借助遞歸可以優(yōu)雅的解決問題。本文主要介紹了如何利用可視化方式來(lái)了解遞歸函數(shù)的執(zhí)行步驟,需要的可以參考一下
    2022-04-04
  • python實(shí)現(xiàn)淘寶購(gòu)物系統(tǒng)

    python實(shí)現(xiàn)淘寶購(gòu)物系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)易的淘寶購(gòu)物系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-10-10

最新評(píng)論