Java實現(xiàn)的爬蟲抓取圖片并保存操作示例
本文實例講述了Java實現(xiàn)的爬蟲抓取圖片并保存操作。分享給大家供大家參考,具體如下:
這是我參考了網(wǎng)上一些資料寫的第一個java爬蟲程序
本來是想獲取煎蛋網(wǎng)無聊圖的圖片,但是網(wǎng)絡返回碼一直是503,所以換了網(wǎng)站
import java.io.BufferedReader; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 網(wǎng)絡爬蟲取數(shù)據(jù) * * */ public class JianDan { public static String GetUrl(String inUrl){ StringBuilder sb = new StringBuilder(); try { URL url =new URL(inUrl); BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream())); String temp=""; while((temp=reader.readLine())!=null){ //System.out.println(temp); sb.append(temp); } } catch (MalformedURLException e) { // TODO 自動生成的 catch 塊 e.printStackTrace(); } catch (IOException e) { // TODO 自動生成的 catch 塊 e.printStackTrace(); } return sb.toString(); } public static List<String> GetMatcher(String str,String url){ List<String> result = new ArrayList<String>(); Pattern p =Pattern.compile(url);//獲取網(wǎng)頁地址 Matcher m =p.matcher(str); while(m.find()){ //System.out.println(m.group(1)); result.add(m.group(1)); } return result; } public static void main(String args[]){ String str=GetUrl("http://www.163.com"); List<String> ouput =GetMatcher(str,"src=\"([\\w\\s./:]+?)\""); for(String temp:ouput){ //System.out.println(ouput.get(0)); System.out.println(temp); } String aurl=ouput.get(0); // 構(gòu)造URL URL url; try { url = new URL(aurl); // 打開URL連接 URLConnection con = (URLConnection)url.openConnection(); // 得到URL的輸入流 InputStream input = con.getInputStream(); // 設置數(shù)據(jù)緩沖 byte[] bs = new byte[1024 * 2]; // 讀取到的數(shù)據(jù)長度 int len; // 輸出的文件流保存圖片至本地 OutputStream os = new FileOutputStream("a.png"); while ((len = input.read(bs)) != -1) { os.write(bs, 0, len); } os.close(); input.close(); } catch (MalformedURLException e) { // TODO 自動生成的 catch 塊 e.printStackTrace(); } catch (IOException e) { // TODO 自動生成的 catch 塊 e.printStackTrace(); } } }
運行輸出:
更多關于java相關內(nèi)容感興趣的讀者可查看本站專題:《Java網(wǎng)絡編程技巧總結(jié)》、《Java Socket編程技巧總結(jié)》、《Java文件與目錄操作技巧匯總》、《Java數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Java操作DOM節(jié)點技巧總結(jié)》和《Java緩存操作技巧匯總》
希望本文所述對大家java程序設計有所幫助。
相關文章
Java中使用Jedis操作Redis的實現(xiàn)代碼
本篇文章主要介紹了Java中使用Jedis操作Redis的實現(xiàn)代碼。詳細的介紹了Redis的安裝和在java中的操作,具有一定的參考價值,有興趣的可以了解一下2017-05-05JAVA 數(shù)據(jù)結(jié)構(gòu)鏈表操作循環(huán)鏈表
這篇文章主要介紹了JAVA 數(shù)據(jù)結(jié)構(gòu)鏈表操作循環(huán)鏈表的相關資料,需要的朋友可以參考下2016-10-10