基于Python爬取fofa網(wǎng)頁(yè)端數(shù)據(jù)過程解析
FOFA-網(wǎng)絡(luò)空間安全搜索引擎是網(wǎng)絡(luò)空間資產(chǎn)檢索系統(tǒng)(FOFA)是世界上數(shù)據(jù)覆蓋更完整的IT設(shè)備搜索引擎,擁有全球聯(lián)網(wǎng)IT設(shè)備更全的DNA信息。探索全球互聯(lián)網(wǎng)的資產(chǎn)信息,進(jìn)行資產(chǎn)及漏洞影響范圍分析、應(yīng)用分布統(tǒng)計(jì)、應(yīng)用流行度態(tài)勢(shì)感知等。
安裝環(huán)境:
pip install requests
pip install lxml
pip install fire
使用命令:
python fofa.py -s=title="你的關(guān)鍵字" -o="結(jié)果輸出文件" -c="你的cookie"
代碼如下:
import requests,time,base64,fire from lxml import etree def fofasc(s,o,c): try: sbase64 = (base64.b64encode(s.encode('utf-8'))).decode('utf-8') cookies = { "_fofapro_ars_session": c } headers = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 7.1.2; PCRT00 Build/N2G48H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/66.0.3359.158 Safari/537.36 fanwe_app_sdk sdk_type/android sdk_version_name/4.0.1 sdk_version/2020042901 screen_width/720 screen_height/1280', } for i in range(1,1000): url = "https://www.fofa.so/result?q="+s+"&qbase64="+sbase64+"&full=true&page="+str(i) r = requests.get(url, headers=headers, cookies=cookies) soup = etree.HTML(r.text) result = soup.xpath('//*[@id="ajax_content"]/div/div/div/a/text()') print(result) if result != []: for rs in result: with open(o,mode="a+") as f: f.write(rs+"\n") else: print("已經(jīng)獲取不到任何數(shù)據(jù),爬取完畢!") break time.sleep(2) except KeyboardInterrupt: print('用戶退出') if __name__ == '__main__': fire.Fire(fofasc)
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
selenium+python自動(dòng)化測(cè)試之使用webdriver操作瀏覽器的方法
這篇文章主要介紹了selenium+python自動(dòng)化測(cè)試之使用webdriver操作瀏覽器的方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-01-01python實(shí)現(xiàn)美團(tuán)訂單推送到測(cè)試環(huán)境,提供便利操作示例
這篇文章主要介紹了python實(shí)現(xiàn)美團(tuán)訂單推送到測(cè)試環(huán)境,提供便利操作,涉及Python基于requests模塊的網(wǎng)絡(luò)請(qǐng)求與數(shù)據(jù)處理相關(guān)操作技巧,需要的朋友可以參考下2019-08-08Python實(shí)現(xiàn)簡(jiǎn)單過濾文本段的方法
這篇文章主要介紹了Python實(shí)現(xiàn)簡(jiǎn)單過濾文本段的方法,涉及Python針對(duì)文本的讀取及字符串遍歷、判斷、打印等相關(guān)操作技巧,需要的朋友可以參考下2017-05-05python opencv實(shí)現(xiàn)圖像矯正功能
這篇文章主要為大家詳細(xì)介紹了python opencv實(shí)現(xiàn)圖像矯正功能,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-08-08flask SQLAlchemy連接數(shù)據(jù)庫(kù)及操作的實(shí)現(xiàn)
本文主要介紹了flask SQLAlchemy連接數(shù)據(jù)庫(kù)及操作的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03python編程中簡(jiǎn)潔優(yōu)雅的推導(dǎo)式示例詳解
這篇文章主要為大家介紹了python編程中簡(jiǎn)潔優(yōu)雅的推導(dǎo)式示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步2021-11-11Python自定義簡(jiǎn)單圖軸簡(jiǎn)單實(shí)例
這篇文章主要介紹了Python自定義簡(jiǎn)單圖軸簡(jiǎn)單實(shí)例,具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01pytorch 實(shí)現(xiàn)在測(cè)試的時(shí)候啟用dropout
這篇文章主要介紹了pytorch 實(shí)現(xiàn)在測(cè)試的時(shí)候啟用dropout的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05Python中subprocess的簡(jiǎn)單使用示例
這篇文章主要介紹了Python中subprocess的簡(jiǎn)單使用示例,是Python進(jìn)程方面處理的相關(guān)重要知識(shí),需要的朋友可以參考下2015-07-07Numpy中np.random.rand()和np.random.randn() 用法和區(qū)別詳解
這篇文章主要介紹了Numpy中np.random.rand()和np.random.randn() 用法和區(qū)別詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10