快捷導航

java簡單網(wǎng)頁抓取的實現(xiàn)方法

更新時間：2014年12月20日 10:32:38 投稿：shichen2014

這篇文章主要介紹了java簡單網(wǎng)頁抓取的實現(xiàn)方法,詳細分析了與Java網(wǎng)頁抓取相關(guān)的tcp及URL相關(guān)概念,以及對應(yīng)的類文件原理,具有一定的參考借鑒價值,需要的朋友可以參考下

本文實例講述了java簡單網(wǎng)頁抓取的實現(xiàn)方法。分享給大家供大家參考。具體分析如下：

背景介紹

一 tcp簡介

　　1 tcp 實現(xiàn)網(wǎng)絡(luò)中點對點的傳輸

　　2 傳輸是通過ports和sockets

　　ports提供了不同類型的傳輸（例如 http的port是80）

　　　　1）sockets可以綁定在特定端口上，并且提供傳輸功能

　　　　2）一個port可以連接多個socket

二 URL簡介

URL 是對可以從互聯(lián)網(wǎng)上得到的資源的位置和訪問方法的一種簡潔的表示，是互聯(lián)網(wǎng)上標準資源的地址。

互聯(lián)網(wǎng)上的每個文件都有一個唯一的URL，它包含的信息指出文件的位置以及瀏覽器應(yīng)該怎么處理它。

綜上，我們要抓取網(wǎng)頁的內(nèi)容實質(zhì)上就是通過url來抓取網(wǎng)頁內(nèi)容。

Java提供了兩種方法：

一種是直接從URL讀取網(wǎng)頁

一種是通過 URLConnection來讀取網(wǎng)頁

其中的URLConnection是以http為核心的類，提供了很多關(guān)于連接http的函數(shù)

本文將給出基于URLConnection的實例代碼。

在此之前我們先來看下關(guān)于url的異常。不了解java異常機制的請參看上一篇博文。

構(gòu)造URL的異常MalformedURLException產(chǎn)生條件：url的字符串為空或者是不能辨認的協(xié)議

建立 URLConnection的異常 IOException產(chǎn)生條件: openConnection失敗，注意openConnection時代碼還未連接遠程，只是為連接遠程做準備

綜上所述,最終代碼如下：

復制代碼代碼如下:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

public class SimpleNetSpider {

public static void main(String[] args) {

        try{
            URL u = new URL("http://docs.oracle.com/javase/tutorial/networking/urls/");
            URLConnection connection = u.openConnection();
            HttpURLConnection htCon = (HttpURLConnection) connection;
            int code = htCon.getResponseCode();
            if (code == HttpURLConnection.HTTP_OK)
            {
                System.out.println("find the website");
                BufferedReader in=new BufferedReader(new InputStreamReader(htCon.getInputStream()));
                String inputLine;
                while ((inputLine = in.readLine()) != null)
                        System.out.println(inputLine);
                    in.close();
            }
            else
            {
                System.out.println("Can not access the website");
            }
        }
        catch(MalformedURLException e )
        {
            System.out.println("Wrong URL");
        }
        catch(IOException e)
        {
            System.out.println("Can not connect");
        }
    }
}