欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解

 更新時間:2018年12月06日 12:35:43   作者:wyhluckydog  
網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。這篇文章主要介紹了使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解,需要的朋友可以參考下

網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。

思路:

1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個1.html。使用notepad++進行編輯,編輯內(nèi)容為:

在這里插入圖片描述

2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因為這里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。

代碼:

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)
 * 
 * 
 */
public class RegexDemo {
 public static void main(String[] args) throws Exception {
 
 List<String> list=getMailByWeb();
 for(String str:list){
 System.out.println(str);
 }
 
 }
 private static List<String> getMailByWeb() throws Exception {
 
 //1.與網(wǎng)頁建立聯(lián)系。使用URL
 String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義
 URL url=new URL(path);
 //2.獲取輸入流
 InputStream is=url.openStream();
 //加緩沖
 BufferedReader br=new BufferedReader(new InputStreamReader(is));
 //3.提取符合郵箱的數(shù)據(jù)
 String regex="\\w+@\\w+(\\.\\w+)+";
 //進行匹配
 //將正則規(guī)則封裝成對象
 Pattern p=Pattern.compile(regex);
 //將提取到的數(shù)據(jù)放到一個集合中
 List<String> list=new ArrayList<String>();
 
 String line=null;
 while((line=br.readLine())!=null){
 //匹配器
 Matcher m=p.matcher(line);
 while(m.find()){
 //3.將符合規(guī)則的數(shù)據(jù)存儲到集合中
 list.add(m.group());
 }
 }
 
 return list;
 }
}

注意:在執(zhí)行前需要先開啟tomcat服務(wù)器

運行結(jié)果:

在這里插入圖片描述

總結(jié)

以上所述是小編給大家介紹的使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

  • js中string之正則表達式replace方法詳解

    js中string之正則表達式replace方法詳解

    本篇文章主要介紹了js中string之正則表達式replace方法詳解,replace方法是javascript涉及到正則表達式中較為復(fù)雜的一個方法,嚴(yán)格上說應(yīng)該是string對象的方法。
    2017-03-03
  • php中正則替換函數(shù)ereg_replace用法實例

    php中正則替換函數(shù)ereg_replace用法實例

    這篇文章主要介紹了php中正則替換函數(shù)ereg_replace用法,以實例形式分析了ereg_replace函數(shù)進行正則替換時的用法,非常具有實用價值,需要的朋友可以參考下
    2014-12-12
  • Python正則表達式保姆式教學(xué)詳細教程

    Python正則表達式保姆式教學(xué)詳細教程

    正則作為處理字符串的一個實用工具,在Python中經(jīng)常會用到,比如爬蟲爬取數(shù)據(jù)時常用正則來檢索字符串。這篇文章主要介紹了Python正則表達式保姆式教學(xué)詳細教程,需要的朋友可以參考下
    2021-08-08
  • IPV4和IPV6正則表達式的深入講解

    IPV4和IPV6正則表達式的深入講解

    這篇文章主要給大家介紹了關(guān)于IPV4和IPV6正則表達式的相關(guān)資料,文中介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • javascript匹配js中注釋的正則表達式代碼

    javascript匹配js中注釋的正則表達式代碼

    本章節(jié)介紹一下正則表達式如何匹配javascript代碼中的注釋,下面直接給出代碼,需要的朋友可以參考一下
    2018-01-01
  • 正則表達式高級用法之分組的使用教程

    正則表達式高級用法之分組的使用教程

    正則表達式的命名分組是一個相當(dāng)強大的功能,下面這篇文章主要給大家介紹了關(guān)于正則表達式高級用法之分組的使用教程,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-09-09
  • js正則表達式常用函數(shù)詳解(續(xù))

    js正則表達式常用函數(shù)詳解(續(xù))

    之前一篇已經(jīng)帶領(lǐng)大家認(rèn)識了一下正則表達式常用函數(shù)最基本的功能及使用方法。本文再帶領(lǐng)大家一起應(yīng)用正則表達式,深入學(xué)習(xí)正則表達式中常用的方法及對象,例如:test、exec、match、replace、search等等,需要的朋友可以參考下
    2015-12-12
  • 正則表達式 學(xué)習(xí)資料整理

    正則表達式 學(xué)習(xí)資料整理

    正則表達式(Regular expression,簡寫為Regexes)是一種用來操作和檢驗字符串?dāng)?shù)據(jù)的強大工具。它相當(dāng)與一串特殊的字符,用它可以轉(zhuǎn)換成算法,對文本進行匹配等操作。
    2009-06-06
  • Python 正則表達式匹配數(shù)字及字符串中的純數(shù)字

    Python 正則表達式匹配數(shù)字及字符串中的純數(shù)字

    這篇文章主要介紹了Python 正則表達式匹配數(shù)字及使用正則表達式找出字符串中的純數(shù)字,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-08-08
  • JS 正則表達式從地址中提取省市縣

    JS 正則表達式從地址中提取省市縣

    這篇文章主要介紹了JS 正則表達式從地址中提取省市縣的實例代碼,非常不錯,具有一定的參考借鑒價值 ,需要的朋友可以參考下
    2018-10-10

最新評論