使用python爬蟲(chóng)獲取黃金價(jià)格的核心代碼
繼續(xù)練手,根據(jù)之前獲取汽油價(jià)格的方式獲取了金價(jià),暫時(shí)沒(méi)錢(qián)投資,看看而已
#!/usr/bin/env python # -*- coding: utf-8 -*- """ 獲取每天黃金價(jià)格 @author: yufei @site: http://www.antuan.com 2017-05-11 """ import re import urllib2,urllib import random import threading import time import sqlite3 import sys from __builtin__ import exit #Some User Agents hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\ {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\ {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\ {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\ {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\ {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\ {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\ {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\ {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\ {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\ {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\ {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\ {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}] ''' create table GoldPricelist( [id] integer PRIMARY KEY autoincrement, [name] varchar default 0, [price] varchar default 0, [time] datetime default (datetime('now', 'localtime')) ); INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404); ''' def sqliteinto(Pricelist): con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db') cur = con.cursor() print Pricelist sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)''' cur.execute(sql,Pricelist) con.commit() cur.close() con.close() def getPrice(): url='http://www.dyhjw.com/matter_gold/' req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)]) res = urllib2.urlopen(req) res = res.read() #獲取的塊 re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S) re_get = re.findall(re_set,res) #獲取價(jià)格詳情 p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S) Pricelist = re.findall(p,re_get[0]) for i in range(0,len(Pricelist)): p = re.compile('(.*?)</a>\n <span class="jg">(.*)</span>',re.S) Price = re.findall(p,Pricelist[i]) gname = Price[0][0] gprice = Price[0][1] timep = re.compile(r"(\d+)-(\d+)-.*") nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time())) datas = [] datas.append(gname.decode('utf8')) datas.append(gprice) datas.append(nowtime) datas = tuple(datas) sqliteinto(datas) if __name__=="__main__": getPrice()
最近的數(shù)據(jù)
總結(jié)
以上所述是小編給大家介紹的使用python爬蟲(chóng)獲取黃金價(jià)格的核心代碼,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
相關(guān)文章
django admin管理工具自定義時(shí)間區(qū)間篩選器DateRangeFilter介紹
這篇文章主要介紹了django admin管理工具自定義時(shí)間區(qū)間篩選器DateRangeFilter介紹,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05django 快速啟動(dòng)數(shù)據(jù)庫(kù)客戶(hù)端程序的方法示例
這篇文章主要介紹了django 快速啟動(dòng)數(shù)據(jù)庫(kù)客戶(hù)端程序的方法示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08python 處理數(shù)字,把大于上限的數(shù)字置零實(shí)現(xiàn)方法
今天小編就為大家分享一篇python 處理數(shù)字,把大于上限的數(shù)字置零實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01python Manager 之dict KeyError問(wèn)題的解決
今天小編就為大家分享一篇python Manager 之dict KeyError問(wèn)題的解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12Python 進(jìn)程之間共享數(shù)據(jù)(全局變量)的方法
今天小編就為大家分享一篇Python 進(jìn)程之間共享數(shù)據(jù)(全局變量)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07python實(shí)現(xiàn)圖片變亮或者變暗的方法
這篇文章主要介紹了python實(shí)現(xiàn)圖片變亮或者變暗的方法,涉及Python中Image模塊操作圖片的相關(guān)技巧,需要的朋友可以參考下2015-06-06