欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pyppeteer執(zhí)行js繞過webdriver監(jiān)測方法下

 更新時間：2022年04月12日 14:33:59   作者：Jeff的技術(shù)棧  
這篇文章主要為大家介紹了pyppeteer上執(zhí)行js并繞過webdriver監(jiān)測常見方法的上篇，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步早日升職加薪

上篇傳送門：pyppeteer執(zhí)行js繞過webdriver監(jiān)測方法上

官方文檔

https://miyakogi.github.io/pyppeteer/reference.html#mouse-class

啟動pyppteer

import asyncio
from pyppeteer import launch
async def main():
    # headless參數(shù)設(shè)為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 打開一個頁面
    page = await browser.newPage()
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html代碼
    resp_headers = res.headers  # 響應(yīng)頭
    resp_status = res.status  # 響應(yīng)狀態(tài)
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())

切圖

# 設(shè)置頁面視圖大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否啟用JS，enabled設(shè)為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截圖 保存圖片
await page.screenshot({'path': 'cnblog.png'})

獲取響應(yīng)頭，響應(yīng)頭狀態(tài)，cookies

async def main():
    # headless參數(shù)設(shè)為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 打開一個頁面
    page = await browser.newPage()
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
	resp_headers = res.headers  # 響應(yīng)頭
    resp_status = res.status  # 響應(yīng)狀態(tài)
    cookies = page.cookies()
    print(resp_headers)
    print(resp_status)
    print(page.cookies())
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())

獲取當(dāng)前頁面標(biāo)題

print(await page.title())

獲取頁面html

import asyncio
from pyppeteer import launch
async def main():
    # headless參數(shù)設(shè)為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
     # 打開一個頁面
    page = await browser.newPage()
	# 是否啟用JS，enabled設(shè)為False，則無渲染效果
    await page.setJavaScriptEnabled(enabled=True)
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html代碼

第一種：獲取整個頁面html

 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
 # 等待
 await asyncio.sleep(2)
print(await page.content())  # 返回html代碼

第二種：只獲取文本

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)

注入JS，控制上下滾動

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100)  # 向下滑動100
window.scrollTo(0,500)  # 向下滑動500
window.scrollTo(0,document.body.scrollHeight)  # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500

選擇器

Page.querySelector()  # CSS選擇器
Page.querySelectorAll()  # CSS選擇器選所有
Page.xpath()  # xpath選擇器
# 簡寫方式為：
Page.J(), Page.JJ(), and Page.Jx()

獲取元素內(nèi)部的文本、屬性

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：獲取h2標(biāo)簽內(nèi)容--執(zhí)行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：獲取文本
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：獲取屬性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()

get_html

async def get_html(url):
    browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
    page = await  browser.newPage()
    res = await page.goto(url, options={'timeout': 3000})
    data = await page.content()
    title = await page.title()
    resp_cookies = await page.cookies()  # cookie
    resp_headers = res.headers  # 響應(yīng)頭
    resp_status = res.status  # 響應(yīng)狀態(tài)
    print(data)
    print(title)
    print(resp_headers)
    print(resp_status)
    return xxx

模擬輸入，鼠標(biāo)點擊

# 模擬輸入 賬號密碼  {'delay': rand_int()} 為輸入時間
await page.type('#fm-login-id', "用戶名")
await page.type('#fm-login-password', "密碼", )
await page.waitFor(1000) # 等待時間
await page.click("#J_SubmitStatic")  # 點擊

taobao登錄

import asyncio
from pyppeteer import launch
async def main():
    # headless參數(shù)設(shè)為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 打開一個頁面
    page = await browser.newPage()
    await page.setViewport(viewport={'width': 1280, 'height': 800})
    res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
    await page.type('#fm-login-id', "123456")
    await page.type('#fm-login-password', "aaa", )
    await page.waitFor(1000)  # 等待時間
    slider = await page.querySelector('#nc_1_n1z') # 是否有滑塊
    if slider:
        try:
            print('有滑塊')
            await page.hover('#nc_1_n1z')  # 不同場景的驗證碼模塊能名字不同。
            await page.mouse.down()
            # X，Y坐標(biāo)，steps 是指分成幾步來完成，steps越大，滑動速度越慢。(在源碼中，steps是指移動到指定x,y 分段滑動的次數(shù)，但是每次啟動滑動都會花費一定時間，可以認(rèn)為steps是滑動的速度)
            # 如果是每次移動的距離，可以用for循環(huán)嘗試正負(fù)移動
            await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
            await page.mouse.up()
        except Exception as e:
            print(e)
            input('驗證失敗，人工登錄：')
    else:
        print('沒有滑塊')
        input()
    await page.click("#login-form > div.fm-btn > button")  # 點擊登錄
# 程序啟動入口
asyncio.get_event_loop().run_until_complete(main())

taobao修改檢測瀏覽器

await page.evaluate(
        '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')  # 以下為插入中間js，將淘寶會為了檢測瀏覽器而調(diào)用的js修改其結(jié)果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {},  }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type選定頁面元素，并修改其數(shù)值，用于輸入賬號密碼，修改的速度仿人類操作，因為有個輸入速度的檢測機制
# 因為 pyppeteer 框架需要轉(zhuǎn)換為js操作，而js和python的類型定義不同，所以寫法與參數(shù)要用字典，類型導(dǎo)入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'})    # 截圖測試
def input_time_random():
    return random.randint(100, 151)

鼠標(biāo)事件

.click()  # 點擊按鈕
.down()   # 按下按鈕
.up()     # 釋放按鈕
.move()   # 移動光標(biāo)

鍵盤事件

您可以使用down()，up()和 sendCharacter()手動觸發(fā)事件，就好像事件是由真實鍵盤生成的一樣。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
    await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.

按下鍵盤A：

await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')

注意
修飾鍵確實會影響down()。按住shift 將以大寫形式鍵入文本。

參數(shù)：    

key（str）–要按鍵的名稱，例如ArrowLeft。

options（dict）–選項可以具有text字段，如果指定了此選項，則使用此文本生成輸入事件。

使用ip代理ua

import asyncio
from pyppeteer import launch
async def register():
    browser = await launch({
        'headless': False,
        # 代理ip
        'args': ['--proxy-server=47.105.111.124:15525', ]
    })
    page = await browser.newPage()
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多參數(shù)
args: [
            '--disable-setuid-sandbox',
            '--no-sandbox',
            '--proxy-server=10.24.51.125:8411',
            '--ignore-certificate-errors',
            '--window-size=375,812',
            '--remote-debugging-port=9222'
        ],

以上就是pyppeteer執(zhí)行js并繞過webdriver監(jiān)測的常見方法下篇的詳細(xì)內(nèi)容，更多關(guān)于pyppeteer執(zhí)行js繞過webdriver監(jiān)測的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • Python工程師面試題 與Python Web相關(guān)

    Python工程師面試題 與Python Web相關(guān)

    這篇文章主要為大家分享了Python工程師面試題，面試題的內(nèi)容主要與Python Web相關(guān)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2016-01-01
  • 詳解Python和Rust中內(nèi)存管理機制的實現(xiàn)與對比

    詳解Python和Rust中內(nèi)存管理機制的實現(xiàn)與對比

    Python和Rust都采用了垃圾收集（Garbage?Collection）機制來管理內(nèi)存,但它們各自的實現(xiàn)方式有很大的不同,下面就跟隨小編一起來深入了解下二者的區(qū)別吧
    2024-03-03
  • Python基于opencv實現(xiàn)的簡單畫板功能示例

    Python基于opencv實現(xiàn)的簡單畫板功能示例

    這篇文章主要介紹了Python基于opencv實現(xiàn)的簡單畫板功能,結(jié)合實例形式分析了Python使用opencv模塊進行圖形繪制的相關(guān)操作技巧,需要的朋友可以參考下
    2019-03-03
  • python搜索指定目錄的方法

    python搜索指定目錄的方法

    這篇文章主要介紹了python搜索指定目錄的方法,涉及Python操作目錄的相關(guān)技巧,非常具有實用價值,需要的朋友可以參考下
    2015-04-04
  • Python實現(xiàn)LR1文法的完整實例代碼

    Python實現(xiàn)LR1文法的完整實例代碼

    這篇文章主要給大家介紹了關(guān)于Python實現(xiàn)LR1文法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • Python基礎(chǔ)學(xué)習(xí)之函數(shù)方法實例詳解

    Python基礎(chǔ)學(xué)習(xí)之函數(shù)方法實例詳解

    這篇文章主要介紹了Python基礎(chǔ)學(xué)習(xí)之函數(shù)方法,結(jié)合實例形式分析了Python函數(shù)方法的定義、參數(shù)、復(fù)用和繼承相關(guān)操作技巧,需要的朋友可以參考下
    2019-06-06
  • PyQT5 QTDesigner窗口及組成的實現(xiàn)

    PyQT5 QTDesigner窗口及組成的實現(xiàn)

    這篇文章主要介紹了PyQT5 QTDesigner窗口及組成的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • python單機五子棋的代碼實現(xiàn)示例

    python單機五子棋的代碼實現(xiàn)示例

    五子棋是經(jīng)典的棋牌類游戲，很多人都玩過，那么如何用Python實現(xiàn)五子棋呢，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2021-10-10
  • 16行Python代碼實現(xiàn)微信聊天機器人并自動智能回復(fù)功能

    16行Python代碼實現(xiàn)微信聊天機器人并自動智能回復(fù)功能

    聊天機器人自動智能回復(fù)給我們的生活帶來了極大的便利，尤其在業(yè)務(wù)比較繁忙的時候，智能機器人給我們帶來極大的方便，今天小編教大家一招通過16行代碼實現(xiàn)微信聊天智能機器人，感興趣的朋友一起看看吧
    2022-01-01
  • Python調(diào)用C語言程序方法解析

    Python調(diào)用C語言程序方法解析

    這篇文章主要介紹了Python調(diào)用C語言程序方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-07-07

最新評論