快捷導(dǎo)航

使用java技術(shù)抓取網(wǎng)站上彩票雙色球信息詳解

更新時(shí)間：2019年06月25日 16:21:26 作者：IT-source

這篇文章主要介紹了使用java技術(shù)抓取網(wǎng)站上彩票雙色球信息詳解,web結(jié)果由html+js+css組成，html結(jié)構(gòu)都有一定的規(guī)范，數(shù)據(jù)動(dòng)態(tài)交互可以通過js實(shí)現(xiàn)。,需要的朋友可以參考下

前言

現(xiàn)在很多web應(yīng)用，做過web項(xiàng)目的童鞋都知道，web結(jié)果由html+js+css組成，html結(jié)構(gòu)都有一定的規(guī)范，數(shù)據(jù)動(dòng)態(tài)交互可以通過js實(shí)現(xiàn)。

有些時(shí)候，需要抓取某一個(gè)你感興趣的網(wǎng)站信息，一個(gè)網(wǎng)站信息肯定是通過某一個(gè)url，發(fā)送http請(qǐng)求，根據(jù)地址定位的，當(dāng)知道這個(gè)地址，可以獲取到很多的網(wǎng)絡(luò)響應(yīng)，需要認(rèn)真分析，找到你那一個(gè)合適的地址，最后通過這個(gè)地址返回一個(gè)html給你，我們可以得到這個(gè)html，分析結(jié)構(gòu)，解析這個(gè)結(jié)構(gòu)獲取你要的數(shù)據(jù)。Html的結(jié)構(gòu)解析往往是復(fù)雜繁瑣的，我們可以使用java的支持包：jsoup，可以完成發(fā)送請(qǐng)求，解析html等功能，得到你感興趣的數(shù)據(jù)。

下面就以一個(gè)彩票網(wǎng)站為例來簡(jiǎn)單說明整體操作流程，分為以下幾大步驟：

根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球
分析頁(yè)面，找到它的入口地址
獲取地址，使用jsoup發(fā)送請(qǐng)求，獲取返回的Document對(duì)象
分析Document對(duì)象，獲取感興趣的數(shù)據(jù)

1：根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球：

本人選擇的500彩票網(wǎng)站：請(qǐng)根據(jù)以下步驟，找到雙色球板塊。

2：分析頁(yè)面，找到它的入口地址

發(fā)現(xiàn)右側(cè)有一個(gè)下拉選擇框，這個(gè)是歷史雙色球開獎(jiǎng)期號(hào)。改變這個(gè)值，瀏覽器會(huì)重新去請(qǐng)求這期的開獎(jiǎng)信息，確定地址是：

http://kaijiang.500.com/shtml/ssq/選擇期號(hào).shtml

3：獲取地址，使用jsoup發(fā)送請(qǐng)求，獲取返回的Document對(duì)象

創(chuàng)建一個(gè)maven工程，導(dǎo)入jsoup的依賴：在你java類中，向2地址發(fā)送請(qǐng)求：獲取返回的頁(yè)面數(shù)據(jù)：

返回的html頁(yè)面內(nèi)容比較多，就不貼在這里的，下面直接對(duì)這個(gè)頁(yè)面分析(特別說明，每一個(gè)html的結(jié)構(gòu)不是一成不變的，有可能當(dāng)讀者看到這篇文章的時(shí)候，網(wǎng)站修改了網(wǎng)頁(yè)結(jié)構(gòu)，那么你需要重新分析，當(dāng)然，估計(jì)這個(gè)網(wǎng)站修改網(wǎng)頁(yè)結(jié)構(gòu)的可能性比較小。。。。。。)

4：分析Document對(duì)象，獲取感興趣的數(shù)據(jù)

雙色球由6個(gè)紅球+1個(gè)籃球組成，通過分析網(wǎng)頁(yè)，是通過class來表示的，網(wǎng)頁(yè)源碼如下：