import re
from scrapy.spider import BaseSpider
from scrapy import log
from scrapy.utils.response import body_or_str
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
class SitemapSpider(BaseSpider):
 name = "SitemapSpider"
 start_urls = ["http://www.domain.com/sitemap.xml"]
 def parse(self, response):
  nodename = 'loc'
  text = body_or_str(response)
  r = re.compile(r"(<%s[\s>])(.*?)(</%s>)"%(nodename,nodename),re.DOTALL)
  for match in r.finditer(text):
   url = match.group(2)
   yield Request(url, callback=self.parse_page)
 def parse_page(self, response):
    hxs = HtmlXPathSelector(response)
    #Mock Item
  blah = Item()
  #Do all your page parsing and selecting the elemtents you want
    blash.divText = hxs.select('//div/text()').extract()[0]
  yield blah

希望本文所述對大家的Python程序設計有所幫助。

您可能感興趣的文章:

PyInstaller將Python腳本打包為.exe可執(zhí)行文件的步驟詳解
Python是一門強大而靈活的編程語言,為了方便共享和部署,我們可以將 Python 腳本打包為可執(zhí)行文件（.exe）,這樣其他用戶就無需安裝 Python環(huán)境,直接運行可執(zhí)行文件即可,本文將介紹如何使用PyInstaller 工具實現(xiàn)這一目標,需要的朋友可以參考下
2023-12-12
Python實現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)
這篇文章主要介紹了Python實現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-10-10
Python實現(xiàn)網(wǎng)頁文件轉PDF文件和PNG圖片的示例代碼
這篇文章主要介紹了如何利用Python分別實現(xiàn)網(wǎng)頁文件轉為PDF文件和網(wǎng)頁文件轉PNG圖片的示例代碼，文中的代碼簡潔易懂，感興趣的可以動手試試
2022-01-01
python redis 批量設置過期key過程解析
這篇文章主要介紹了python redis 批量設置過期key過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-11-11
pytorch1.0中torch.nn.Conv2d用法詳解
今天小編就為大家分享一篇pytorch1.0中torch.nn.Conv2d用法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
python logging通過json文件配置的步驟
這篇文章主要介紹了python logging通過json文件配置的步驟，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
python之super的使用小結
這篇文章主要介紹了python之super的使用小結，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-08-08
python多行字符串拼接使用小括號的方法
今天小編就為大家分享一篇python多行字符串拼接使用小括號的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
python安裝sklearn模塊的方法詳解
這篇文章主要介紹了python安裝sklearn模塊的方法詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2020-11-11
使用Python對文件進行批量改名的方法
這篇文章主要介紹了使用Python對文件進行批量改名的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2023-03-03