使用java技術抓取網(wǎng)站上彩票雙色球信息詳解

更新時間：2019年06月25日 16:21:26 作者：IT-source

這篇文章主要介紹了使用java技術抓取網(wǎng)站上彩票雙色球信息詳解,web結果由html+js+css組成，html結構都有一定的規(guī)范，數(shù)據(jù)動態(tài)交互可以通過js實現(xiàn)。,需要的朋友可以參考下

前言

現(xiàn)在很多web應用，做過web項目的童鞋都知道，web結果由html+js+css組成，html結構都有一定的規(guī)范，數(shù)據(jù)動態(tài)交互可以通過js實現(xiàn)。

有些時候，需要抓取某一個你感興趣的網(wǎng)站信息，一個網(wǎng)站信息肯定是通過某一個url，發(fā)送http請求，根據(jù)地址定位的，當知道這個地址，可以獲取到很多的網(wǎng)絡響應，需要認真分析，找到你那一個合適的地址，最后通過這個地址返回一個html給你，我們可以得到這個html，分析結構，解析這個結構獲取你要的數(shù)據(jù)。Html的結構解析往往是復雜繁瑣的，我們可以使用java的支持包：jsoup，可以完成發(fā)送請求，解析html等功能，得到你感興趣的數(shù)據(jù)。

下面就以一個彩票網(wǎng)站為例來簡單說明整體操作流程，分為以下幾大步驟：

根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球
分析頁面，找到它的入口地址
獲取地址，使用jsoup發(fā)送請求，獲取返回的Document對象
分析Document對象，獲取感興趣的數(shù)據(jù)

1：根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球：

本人選擇的500彩票網(wǎng)站：請根據(jù)以下步驟，找到雙色球板塊。

2：分析頁面，找到它的入口地址

發(fā)現(xiàn)右側(cè)有一個下拉選擇框，這個是歷史雙色球開獎期號。改變這個值，瀏覽器會重新去請求這期的開獎信息，確定地址是：

http://kaijiang.500.com/shtml/ssq/選擇期號.shtml

3：獲取地址，使用jsoup發(fā)送請求，獲取返回的Document對象

創(chuàng)建一個maven工程，導入jsoup的依賴：在你java類中，向2地址發(fā)送請求：獲取返回的頁面數(shù)據(jù)：

返回的html頁面內(nèi)容比較多，就不貼在這里的，下面直接對這個頁面分析(特別說明，每一個html的結構不是一成不變的，有可能當讀者看到這篇文章的時候，網(wǎng)站修改了網(wǎng)頁結構，那么你需要重新分析，當然，估計這個網(wǎng)站修改網(wǎng)頁結構的可能性比較小。。。。。。)

4：分析Document對象，獲取感興趣的數(shù)據(jù)

雙色球由6個紅球+1個籃球組成，通過分析網(wǎng)頁，是通過class來表示的，網(wǎng)頁源碼如下：