欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

HttpClient抓取網(wǎng)頁(yè)的兩種方式

 更新時(shí)間：2013年08月23日 17:11:46   作者：  
可以利用NodeFilter對(duì)網(wǎng)頁(yè)進(jìn)行分析及利用Visitor對(duì)網(wǎng)頁(yè)進(jìn)行分析實(shí)現(xiàn)抓取網(wǎng)頁(yè)，具體如下感興趣的朋友可以參考下，希望對(duì)大家有所幫助
一、利用NodeFilter對(duì)網(wǎng)頁(yè)進(jìn)行分析

1、生成一個(gè)Parser
a.通過(guò)url提取網(wǎng)絡(luò)上的網(wǎng)頁(yè)
復(fù)制代碼 代碼如下:

Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");

b.提取本地網(wǎng)頁(yè)文件
通過(guò)讀文件把網(wǎng)頁(yè)文件轉(zhuǎn)化成字符串；
復(fù)制代碼 代碼如下:

Parser parser=Parser.createParser(html,charset);

2、利用NodeFilter做一個(gè)filter
a.利用Tag Name
NodeFilter filter=new TagNameFilter("IMG");
b.利用Tag Class
NodeFilter filter = new NodeClassFilter(ImageTag.class);

3、通過(guò)匹配filter，得到所有符合條件的Tag
NodeList list=parser.extractAllNodesThat(filter);
for(int i=0;i String content=list.elementAt(i).toHtml();//得到符合條件的Tag 內(nèi)容
如果針對(duì)具體情況進(jìn)行更加詳細(xì)的處理，則：
復(fù)制代碼 代碼如下:

ImageTag imageTag=(ImageTag)list.elementAt(i);
…………
}

然后根據(jù)需要做相應(yīng)的處理。

二、利用Visitor對(duì)網(wǎng)頁(yè)進(jìn)行分析
1、生成一個(gè)Parser
a.通過(guò)url提取網(wǎng)絡(luò)上的網(wǎng)頁(yè)
復(fù)制代碼 代碼如下:

Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");

b.提取本地網(wǎng)頁(yè)文件
通過(guò)讀文件把網(wǎng)頁(yè)文件轉(zhuǎn)化成字符串；
復(fù)制代碼 代碼如下:

Parser parser=Parser.createParser(html,charset);

2、用visitor訪問(wèn)頁(yè)面
復(fù)制代碼 代碼如下:

ex：ObjectFindingVisitor visitor=new ObjectFindingVisitor();
parser.visitAllNodesWith(visitor);

3、通過(guò)特定的visitor得到符合條件的Tag
復(fù)制代碼 代碼如下:

Node[] nodes=visitor.getTags();
for(int i=0;i ImageTag imageTag=(ImageTag)nodes[i];
…………
//根據(jù)需要做特定處理
}

相關(guān)文章

最新評(píng)論