欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python采集天天基金數據掌握最新基金動向

 更新時間：2022年01月25日 15:29:57   作者：松鼠愛吃餅干  
這篇文章主要介紹了Python采集天天基金數據掌握最新基金動向,本次案例實現流程為發(fā)送請求、獲取數據、解析數據、多頁爬取、保存數據，接下來來看看具體的操作過程吧

案例實現流程

思路分析:

  • 需要什么數據?需要的數據在哪里?

代碼實現：

  • 發(fā)送請求
  • 獲取數據
  • 解析數據
  • 多頁爬取
  • 保存數據

知識點：

  • requests發(fā)送請求
  • 開發(fā)者工具的使用
  • json類型數據解析
  • 正則表達式的使用

開發(fā)環(huán)境：

  • 版 本：python 3.8
  • 編輯器：pycharm 2021.2

本次目標：

一、分析網站

第一步：打開開發(fā)者工具，按F12，或者右鍵點擊檢查
第二步：刷新網站，點擊搜索工具，在搜索框內輸入基金代碼，點擊搜索

第三步：找到數據所在的真實url

二、開始代碼

導入模塊：

import requests ? ?
import re
import csv

發(fā)送請求：

url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1'
headers = {
? ? 'Cookie': 'HAList=a-sz-300059-%u4E1C%u65B9%u8D22%u5BCC; em_hq_fls=js; qgqp_b_id=7b7cfe791fce1724e930884be192c85e; _adsame_fullscreen_16928=1; st_si=59966688853664; st_asi=delete; st_pvi=79368259778985; st_sp=2021-12-07%2014%3A33%3A35; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20211216201351423-112200312936-0028256540; ASP.NET_SessionId=miyivgzxegpjaya5waosifrb',
? ? 'Host': 'fund.eastmoney.com',
? ? 'Referer': 'http://fund.eastmoney.com/data/fundranking.html',
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
}
response = requests.get(url=url, headers=headers)

獲取數據：

data = response.text

解析數據 篩選數據：

data_str = re.findall('\[(.*?)\]', data)[0]

轉變數據類型：

tuple_data = eval(data_str)
for td in tuple_data:
? ? # 把td 變成列表
? ? td_list = td.split(',')

翻頁:

分析不同頁數url變化規(guī)律

for page in range(1, 193):
? ? print(f'-------------------------正在爬取第{page}頁內容-----------------------')
? ? url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi={page}&pn=50&dx=1'

保存數據:

with open('基金.csv', mode='a', encoding='utf-8', newline='') as f:
? ? csv_write = csv.writer(f)
? ? csv_write.writerow(td_list)
print(td)

三、運行代碼，得到數據

到此這篇關于Python采集天天基金數據掌握最新基金動向的文章就介紹到這了,更多相關Python采集天天基金數據內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

相關文章

  • python打包多類型文件的操作方法

    python打包多類型文件的操作方法

    這篇文章主要介紹了python打包多類型文件的方法，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2020-09-09
  • python對gif圖壓縮的完美解決方案

    python對gif圖壓縮的完美解決方案

    上圖圖片的時候由于圖片太大,導致上次不成功,因此需要對文件進行統一壓縮,這篇文章主要給大家介紹了關于python對gif圖壓縮的完美解決方案,需要的朋友可以參考下
    2021-11-11
  • python使用re模塊爬取豆瓣Top250電影

    python使用re模塊爬取豆瓣Top250電影

    這篇文章主要介紹了python使用re模塊爬取豆瓣Top250電影的示例，幫助大家更好的理解和學習python 爬蟲，感興趣的朋友可以了解下
    2020-10-10
  • Django獲取model中的字段名和字段的verbose_name方式

    Django獲取model中的字段名和字段的verbose_name方式

    這篇文章主要介紹了Django獲取model中的字段名和字段的verbose_name方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Python os庫常用操作代碼匯總

    Python os庫常用操作代碼匯總

    這篇文章主要介紹了Python os庫常用操作代碼匯總,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-11-11
  • Python?isdigit()函數使用詳解

    Python?isdigit()函數使用詳解

    這篇文章主要介紹了Python?isdigit()函數使用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2023-07-07
  • python學習 流程控制語句詳解

    python學習 流程控制語句詳解

    下面小編就為大家?guī)硪黄猵ython學習 流程控制語句詳解。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
    2016-06-06
  • TensorFlow固化模型的實現操作

    TensorFlow固化模型的實現操作

    這篇文章主要介紹了TensorFlow固化模型的實現操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Python時間和字符串轉換操作實例分析

    Python時間和字符串轉換操作實例分析

    這篇文章主要介紹了Python時間和字符串轉換操作,結合實例形式分析了Python時間的格式化輸出、時間戳轉換、datetime轉換字符串等相關操作技巧,需要的朋友可以參考下
    2019-03-03
  • python機器學習理論與實戰(zhàn)（五）支持向量機

    python機器學習理論與實戰(zhàn)（五）支持向量機

    這篇文章主要為大家詳細介紹了python機器學習理論與實戰(zhàn)第五篇，支持向量機的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-01-01

最新評論