快捷導(dǎo)航

java爬蟲模擬登陸的實(shí)例詳解

更新時(shí)間：2021年01月18日 15:54:18 作者：宋宋大人

在本篇文章里小編給大家分享的是一篇關(guān)于java爬蟲模擬登陸的實(shí)例詳解內(nèi)容，有興趣的朋友們可以參考學(xué)習(xí)下。

使用jsoup工具可以解析某個(gè)URL地址、HTML文本內(nèi)容，是java爬蟲很好的優(yōu)勢(shì)，也是我們?cè)诰W(wǎng)絡(luò)爬蟲不可缺少的工具。本文小編帶領(lǐng)大家使用jsoup 實(shí)現(xiàn)java爬蟲模擬登陸，通過省力的API，很好的實(shí)現(xiàn)java爬蟲模擬登陸。

一、使用工具：Jsoup

jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。

二、實(shí)現(xiàn)java爬蟲模擬登陸

1、確定想要爬取的url

import java.io.BufferedWriter;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.util.Map.Entry;

import java.util.Set;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class SplitTable {
  public static void main(String[] args) throws IOException {
    //想要爬取的url
    String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?
Ves632DSdyV=NEW_XSD_PYGL";
    String username = "";
    String password = "";
    String sessionId = getSessionInfo(username,password);
    spiderWebSite(sessionId,url);
  }

2、獲取sessionId

private static String getSessionInfo(String username,String password)
throws IOException{

3、登錄網(wǎng)站，返回sessionId信息

Connection.Response res = Jsoup.connect(http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk)

4、獲得sessionId

 String sessionId = res.cookie("JSESSIONID");
    System.out.println(sessionId);
    return sessionId;
  }

5、爬取內(nèi)容

private static void spiderWebSite(String sessionId,String url) throws IOException{
    //爬取
    Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();
    Element table = doc.getElementById("kbtable");
    //System.out.println(table);
    BufferedWriter bw = new BufferedWriter
(new OutputStreamWriter(new FileOutputStream("F:/table.html")));
    bw.write(new String(table.toString().getBytes()));
    bw.flush();
    bw.close();
  }
}

實(shí)例代碼擴(kuò)展：

import java.io.IOException;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class LoginDemo {
  public static void main(String[] args) throws Exception {
    LoginDemo loginDemo = new LoginDemo();
    loginDemo.login("16xxx20xxx", "16xxx20xxx");// 用戶名，和密碼
  }
  /**
   * 模擬登陸座位系統(tǒng)
   * @param userName
   *      用戶名
   * @param pwd
   *      密碼
   *
   * **/
  public void login(String userName, String pwd) throws Exception {
    // 第一次請(qǐng)求
    Connection con = Jsoup
        .connect("http://lib???.?????????.aspx");// 獲取連接
    con.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模擬瀏覽器
    Response rs = con.execute();// 獲取響應(yīng)
    Document d1 = Jsoup.parse(rs.body());// 轉(zhuǎn)換為Dom樹
    List<Element> et = d1.select("#form1");// 獲取form表單，可以通過查看頁面源碼代碼得知
    // 獲取，cooking和表單屬性，下面map存放post時(shí)的數(shù)據(jù)
    Map<String, String> datas = new HashMap<>();
    for (Element e : et.get(0).getAllElements()) {
      //System.out.println(e.attr("name")+"----Little\n");
      if (e.attr("name").equals("tbUserName")) {
        e.attr("value", userName);// 設(shè)置用戶名
      }

      if (e.attr("name").equals("tbPassWord")) {
        e.attr("value", pwd); // 設(shè)置用戶密碼
      }
      if (e.attr("name").length() > 0) {// 排除空值表單屬性
        datas.put(e.attr("name"), e.attr("value"));
      }
    }


    /**
     * 第二次請(qǐng)求，post表單數(shù)據(jù)，以及cookie信息
     *
     * **/
    Connection con2 = Jsoup
        .connect("http://lib???.?????????.aspx");
    con2.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
    // 設(shè)置cookie和post上面的map數(shù)據(jù)
    Response login = con2.ignoreContentType(true).method(Method.POST)
        .data(datas).cookies(rs.cookies()).execute();

    // 登陸成功后的cookie信息，可以保存到本地，以后登陸時(shí)，只需一次登陸即可
    Map<String, String> map = login.cookies();
    //下面輸出的是cookie 的內(nèi)容
    for (String s : map.keySet()) {
      System.out.println(s + "=====-----" + map.get(s));
    }

    System.out.println(login.body());
    /**
     * 登錄之后模擬獲取預(yù)約記錄
     *
     * */
    Connection con_record = Jsoup
        .connect("http://lib???.?????????.aspx");// 獲取連接
    con_record.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模擬瀏覽器
    con_record.cookies(datas);

    Response record = con_record.ignoreContentType(true)
        .method(Method.GET)
        .cookies(rs.cookies())
        .execute();
    System.out.println(record.body());
  }
}

到此這篇關(guān)于java爬蟲模擬登陸的實(shí)例詳解的文章就介紹到這了,更多相關(guān)java爬蟲實(shí)戰(zhàn)之模擬登陸內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: