使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁爬蟲的思路詳解
網(wǎng)頁爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。
思路:
1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個(gè)1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個(gè)1.html。使用notepad++進(jìn)行編輯,編輯內(nèi)容為:
)
2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因?yàn)檫@里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達(dá)式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。
代碼:
import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 網(wǎng)頁爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù) * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.與網(wǎng)頁建立聯(lián)系。使用URL String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義 URL url=new URL(path); //2.獲取輸入流 InputStream is=url.openStream(); //加緩沖 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合郵箱的數(shù)據(jù) String regex="\\w+@\\w+(\\.\\w+)+"; //進(jìn)行匹配 //將正則規(guī)則封裝成對象 Pattern p=Pattern.compile(regex); //將提取到的數(shù)據(jù)放到一個(gè)集合中 List<String> list=new ArrayList<String>(); String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.將符合規(guī)則的數(shù)據(jù)存儲(chǔ)到集合中 list.add(m.group()); } } return list; } }
注意:在執(zhí)行前需要先開啟tomcat服務(wù)器
運(yùn)行結(jié)果:
總結(jié)
以上所述是小編給大家介紹的使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁爬蟲的思路詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
- Python爬蟲之正則表達(dá)式的使用教程詳解
- Python爬蟲之正則表達(dá)式基本用法實(shí)例分析
- python爬蟲正則表達(dá)式之處理換行符
- python爬蟲 正則表達(dá)式使用技巧及爬取個(gè)人博客的實(shí)例講解
- python爬蟲入門教程--正則表達(dá)式完全指南(五)
- Python 爬蟲學(xué)習(xí)筆記之正則表達(dá)式
- 玩轉(zhuǎn)python爬蟲之正則表達(dá)式
- Python的爬蟲包Beautiful Soup中用正則表達(dá)式來搜索
- Python爬蟲正則表達(dá)式常用符號(hào)和方法
- python3爬蟲之入門基礎(chǔ)和正則表達(dá)式
- 零基礎(chǔ)寫python爬蟲之神器正則表達(dá)式
- java正則表達(dá)式簡單使用和網(wǎng)頁爬蟲的制作代碼
相關(guān)文章
js中string之正則表達(dá)式replace方法詳解
本篇文章主要介紹了js中string之正則表達(dá)式replace方法詳解,replace方法是javascript涉及到正則表達(dá)式中較為復(fù)雜的一個(gè)方法,嚴(yán)格上說應(yīng)該是string對象的方法。2017-03-03php中正則替換函數(shù)ereg_replace用法實(shí)例
這篇文章主要介紹了php中正則替換函數(shù)ereg_replace用法,以實(shí)例形式分析了ereg_replace函數(shù)進(jìn)行正則替換時(shí)的用法,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-12-12Python正則表達(dá)式保姆式教學(xué)詳細(xì)教程
正則作為處理字符串的一個(gè)實(shí)用工具,在Python中經(jīng)常會(huì)用到,比如爬蟲爬取數(shù)據(jù)時(shí)常用正則來檢索字符串。這篇文章主要介紹了Python正則表達(dá)式保姆式教學(xué)詳細(xì)教程,需要的朋友可以參考下2021-08-08Python 正則表達(dá)式匹配數(shù)字及字符串中的純數(shù)字
這篇文章主要介紹了Python 正則表達(dá)式匹配數(shù)字及使用正則表達(dá)式找出字符串中的純數(shù)字,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08