快捷導(dǎo)航

網(wǎng)絡(luò)爬蟲(chóng)案例解析

更新時(shí)間：2017年03月13日 10:39:13 作者：山登絕頂我為瘋

本文主要介紹了網(wǎng)絡(luò)爬蟲(chóng)的小案例。具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧

網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常被稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本，已被廣泛應(yīng)用于互聯(lián)網(wǎng)領(lǐng)域。搜索引擎使用網(wǎng)絡(luò)爬蟲(chóng)抓取Web網(wǎng)頁(yè)、文檔甚至圖片、音頻、視頻等資源，通過(guò)相應(yīng)的索引技術(shù)組織這些信息，提供給搜索用戶進(jìn)行查詢。網(wǎng)絡(luò)爬蟲(chóng)也為中小站點(diǎn)的推廣提供了有效的途徑，網(wǎng)站針對(duì)搜索引擎爬蟲(chóng)的優(yōu)化曾風(fēng)靡一時(shí)。

網(wǎng)絡(luò)爬蟲(chóng)的基本工作流程如下：

1.首先選取一部分精心挑選的種子URL；

2.將這些URL放入待抓取URL隊(duì)列；

3.從待抓取URL隊(duì)列中取出待抓取在URL，解析DNS，并且得到主機(jī)的ip，并將URL對(duì)應(yīng)的網(wǎng)頁(yè)下載下來(lái)，存儲(chǔ)進(jìn)已下載網(wǎng)頁(yè)庫(kù)中。此外，將這些URL放進(jìn)已抓取URL隊(duì)列。

4.分析已抓取URL隊(duì)列中的URL，分析其中的其他URL，并且將URL放入待抓取URL隊(duì)列，從而進(jìn)入下一個(gè)循環(huán)。

當(dāng)然，上面說(shuō)的那些我都不懂，以我現(xiàn)在的理解，我們請(qǐng)求一個(gè)網(wǎng)址，服務(wù)器返回給我們一個(gè)超級(jí)大文本，而我們的瀏覽器可以將這個(gè)超級(jí)大文本解析成我們說(shuō)看到的華麗的頁(yè)面

那么，我們只需要把這個(gè)超級(jí)大文本看成一個(gè)足夠大的String 字符串就OK了。

下面是我的代碼

package main.spider;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
/**
 * Created by 1755790963 on 2017/3/10.
 */
public class Second {
  public static void main(String[] args) throws IOException {
    System.out.println("begin");
    Document document = Jsoup.connect("http://tieba.baidu.com/p/2356694991").get();
    String selector="div[class=d_post_content j_d_post_content clearfix]";
    Elements elements = document.select(selector);
    for (Element element:elements){
      String word= element.text();
      if(word.indexOf("@")>0){
        word=word.substring(0,word.lastIndexOf("@")+7);
        System.out.println(word);
      }
      System.out.println(word);
    }
  }
}

我在這里使用了apache公司所提供的jsoup jar包，jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過(guò)DOM，CSS以及類似于jQuery的操作方法來(lái)取出和操作數(shù)據(jù)。

在代碼里，我們可以直接使用Jsoup類，并.出Jsoup的connect()方法，這個(gè)方法返回一個(gè)org.jsoup.Connection對(duì)象，參數(shù)則是網(wǎng)站的url地址，Connection對(duì)象有一個(gè)get()方法返回Document對(duì)象

document對(duì)象的select方法可以返回一個(gè)Elements對(duì)象，而Elements對(duì)象正式Element對(duì)象的集合，但select()方法需要我們傳入一個(gè)String參數(shù)，這個(gè)參數(shù)就是我們的選擇器

String selector="div[class=d_post_content j_d_post_content clearfix]";

我們的選擇器語(yǔ)法類似于jquery的選擇器語(yǔ)法，可以選取html頁(yè)面中的元素，選擇好后，就可以便利Elements集合，通過(guò)Element的text()方法獲取html中的代碼

這樣，一個(gè)最簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)就寫完了。

我選擇的網(wǎng)址是豆瓣網(wǎng)，留下你的郵箱，我會(huì)給你發(fā)郵件這樣一個(gè)百度貼吧，我扒的是所有人的郵箱地址

附上結(jié)果：