快捷導(dǎo)航

java簡(jiǎn)單網(wǎng)頁(yè)抓取的實(shí)現(xiàn)方法

更新時(shí)間：2014年12月20日 10:32:38 投稿：shichen2014

這篇文章主要介紹了java簡(jiǎn)單網(wǎng)頁(yè)抓取的實(shí)現(xiàn)方法,詳細(xì)分析了與Java網(wǎng)頁(yè)抓取相關(guān)的tcp及URL相關(guān)概念,以及對(duì)應(yīng)的類文件原理,具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了java簡(jiǎn)單網(wǎng)頁(yè)抓取的實(shí)現(xiàn)方法。分享給大家供大家參考。具體分析如下：

背景介紹

一 tcp簡(jiǎn)介

　　1 tcp 實(shí)現(xiàn)網(wǎng)絡(luò)中點(diǎn)對(duì)點(diǎn)的傳輸

　　2 傳輸是通過(guò)ports和sockets

　　ports提供了不同類型的傳輸（例如 http的port是80）

　　　　1）sockets可以綁定在特定端口上，并且提供傳輸功能

　　　　2）一個(gè)port可以連接多個(gè)socket

二 URL簡(jiǎn)介

URL 是對(duì)可以從互聯(lián)網(wǎng)上得到的資源的位置和訪問(wèn)方法的一種簡(jiǎn)潔的表示，是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源的地址。

互聯(lián)網(wǎng)上的每個(gè)文件都有一個(gè)唯一的URL，它包含的信息指出文件的位置以及瀏覽器應(yīng)該怎么處理它。

綜上，我們要抓取網(wǎng)頁(yè)的內(nèi)容實(shí)質(zhì)上就是通過(guò)url來(lái)抓取網(wǎng)頁(yè)內(nèi)容。

Java提供了兩種方法：

一種是直接從URL讀取網(wǎng)頁(yè)

一種是通過(guò) URLConnection來(lái)讀取網(wǎng)頁(yè)

其中的URLConnection是以http為核心的類，提供了很多關(guān)于連接http的函數(shù)

本文將給出基于URLConnection的實(shí)例代碼。

在此之前我們先來(lái)看下關(guān)于url的異常。不了解java異常機(jī)制的請(qǐng)參看上一篇博文。

構(gòu)造URL的異常MalformedURLException產(chǎn)生條件：url的字符串為空或者是不能辨認(rèn)的協(xié)議

建立 URLConnection的異常 IOException產(chǎn)生條件: openConnection失敗，注意openConnection時(shí) 代碼還未連接遠(yuǎn)程，只是為連接遠(yuǎn)程做準(zhǔn)備

綜上所述,最終代碼如下：

復(fù)制代碼代碼如下:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

public class SimpleNetSpider {

public static void main(String[] args) {

        try{
            URL u = new URL("http://docs.oracle.com/javase/tutorial/networking/urls/");
            URLConnection connection = u.openConnection();
            HttpURLConnection htCon = (HttpURLConnection) connection;
            int code = htCon.getResponseCode();
            if (code == HttpURLConnection.HTTP_OK)
            {
                System.out.println("find the website");
                BufferedReader in=new BufferedReader(new InputStreamReader(htCon.getInputStream()));
                String inputLine;
                while ((inputLine = in.readLine()) != null)
                        System.out.println(inputLine);
                    in.close();
            }
            else
            {
                System.out.println("Can not access the website");
            }
        }
        catch(MalformedURLException e )
        {
            System.out.println("Wrong URL");
        }
        catch(IOException e)
        {
            System.out.println("Can not connect");
        }
    }
}