然而,很多時候ajax請求都會經(jīng)過后端鑒權(quán),不能直接構(gòu)造URL獲取。這時就可以通過PhantomJS+Selenium模擬瀏覽器行為,抓取經(jīng)過js渲染后的頁面。 需要注意的是,使用Selenium后,請求不再由Scrapy的Downloader執(zhí)行,所以之前添加的請求頭等信息都會失效,需要在Selenium中重新添加 1 headers = {...} for key, valuein headers.it...
www.dbjr.com.cn/article/1317...htm 2025-5-25