快捷導(dǎo)航

java爬蟲(chóng)Gecco工具抓取新聞實(shí)例

更新時(shí)間：2016年10月28日 11:11:19 作者：趙俠客

本篇文章主要介紹了JAVA 爬蟲(chóng)Gecco工具抓取新聞實(shí)例，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。

最近看到Gecoo爬蟲(chóng)工具，感覺(jué)比較簡(jiǎn)單好用，所有寫(xiě)個(gè)DEMO測(cè)試一下，抓取網(wǎng)站
http://zj.zjol.com.cn/home.html，主要抓取新聞的標(biāo)題和發(fā)布時(shí)間做為抓取測(cè)試對(duì)象。抓取HTML節(jié)點(diǎn)通過(guò)像Jquery選擇器一樣選擇節(jié)點(diǎn)，非常方便，Gecco代碼主要利用注解實(shí)現(xiàn)來(lái)實(shí)現(xiàn)URL匹配，看起來(lái)比較簡(jiǎn)潔美觀。

添加Maven依賴(lài)

<dependency>
   <groupId>com.geccocrawler</groupId>
   <artifactId>gecco</artifactId>
   <version>1.0.8</version>
</dependency>

編寫(xiě)抓取列表頁(yè)面

@Gecco(matchUrl = "http://zj.zjol.com.cn/home.html?pageIndex={pageIndex}&pageSize={pageSize}",pipelines = "zJNewsListPipelines")
public class ZJNewsGeccoList implements HtmlBean {
  @Request
  private HttpRequest request;
  @RequestParameter
  private int pageIndex;
  @RequestParameter
  private int pageSize;
  @HtmlField(cssPath = "#content > div > div > div.con_index > div.r.main_mod > div > ul > li > dl > dt > a")
  private List<HrefBean> newList;
}

@PipelineName("zJNewsListPipelines")
public class ZJNewsListPipelines implements Pipeline<ZJNewsGeccoList> {
  public void process(ZJNewsGeccoList zjNewsGeccoList) {
    HttpRequest request=zjNewsGeccoList.getRequest();
    for (HrefBean bean:zjNewsGeccoList.getNewList()){
      //進(jìn)入祥情頁(yè)面抓取
    SchedulerContext.into(request.subRequest("http://zj.zjol.com.cn"+bean.getUrl()));
    }
    int page=zjNewsGeccoList.getPageIndex()+1;
    String nextUrl = "http://zj.zjol.com.cn/home.html?pageIndex="+page+"&pageSize=100";
    //抓取下一頁(yè)
    SchedulerContext.into(request.subRequest(nextUrl));
  }
}

編寫(xiě)抓取祥情頁(yè)面

@Gecco(matchUrl = "http://zj.zjol.com.cn/news/[code].html" ,pipelines = "zjNewsDetailPipeline")
public class ZJNewsDetail implements HtmlBean {

  @Text
  @HtmlField(cssPath = "#headline")
  private String title ;

  @Text
  @HtmlField(cssPath = "#content > div > div.news_con > div.news-content > div:nth-child(1) > div > p.go-left.post-time.c-gray")
  private String createTime;
}

@PipelineName("zjNewsDetailPipeline")
public class ZJNewsDetailPipeline implements Pipeline<ZJNewsDetail> {
  public void process(ZJNewsDetail zjNewsDetail) {
    System.out.println(zjNewsDetail.getTitle()+" "+zjNewsDetail.getCreateTime());
  }
}

啟動(dòng)主函數(shù)

public class Main {
  public static void main(String [] rags){
    GeccoEngine.create()
        //工程的包路徑
        .classpath("com.zhaochao.gecco.zj")
        //開(kāi)始抓取的頁(yè)面地址
        .start("http://zj.zjol.com.cn/home.html?pageIndex=1&pageSize=100")
        //開(kāi)啟幾個(gè)爬蟲(chóng)線程
        .thread(10)
        //單個(gè)爬蟲(chóng)每次抓取完一個(gè)請(qǐng)求后的間隔時(shí)間
        .interval(10)
        //使用pc端userAgent
        .mobile(false)
        //開(kāi)始運(yùn)行
        .run();
  }
}

抓取結(jié)果