欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬取網(wǎng)頁的所有內(nèi)外鏈的代碼

 更新時間：2021年04月09日 10:32:58   作者：Hundred°C  
這篇文章主要介紹了Python爬取網(wǎng)頁的所有內(nèi)外鏈,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下

項目介紹

采用廣度優(yōu)先搜索方法獲取一個網(wǎng)站上的所有外鏈。
首先，我們進入一個網(wǎng)頁，獲取網(wǎng)頁的所有內(nèi)鏈和外鏈，再分別進入內(nèi)鏈中，獲取該內(nèi)鏈的所有內(nèi)鏈和外鏈，直到訪問完所有內(nèi)鏈未知。

代碼大綱

1、用class類定義一個隊列，先進先出，隊尾入隊，隊頭出隊；
2、定義四個函數(shù)，分別是爬取網(wǎng)頁外鏈，爬取網(wǎng)頁內(nèi)鏈，進入內(nèi)鏈的函數(shù)，以及調(diào)函數(shù)；
3、爬取百度圖片（https://image.baidu.com/），先定義兩個隊列和兩個數(shù)組，分別來存儲內(nèi)鏈和外鏈；程序開始時，先分別爬取當前網(wǎng)頁的內(nèi)鏈和外鏈，再分別入隊，對內(nèi)鏈外鏈進行判斷，如果在數(shù)組中沒有存在，這添加到數(shù)組中；
4、接著調(diào)用deepLinks()函數(shù)，采用循環(huán)結(jié)構(gòu)，如果當前內(nèi)鏈數(shù)量不為空時，則對存儲內(nèi)鏈的隊列進行出隊，并進入該內(nèi)鏈中，再重復調(diào)用爬取網(wǎng)頁內(nèi)鏈和網(wǎng)頁外鏈的函數(shù)，進行判斷網(wǎng)頁鏈接是否重復， 不重復的話，再分別將內(nèi)鏈，外鏈加入到對應的隊列中，不斷迭代循環(huán)；
5、進入網(wǎng)頁內(nèi)所有的內(nèi)鏈，從中搜索出所有的外鏈并且存儲在隊列中，再輸出。

網(wǎng)站詳情

在這里插入圖片描述
在這里插入圖片描述

代碼詳情

隊列

隊列是一種特殊的線性表，單向隊列只能在一端插入數(shù)據(jù)（后），另一端刪除數(shù)據(jù)（前）；
它和棧一樣，隊列是一種操作受限制的線性表；
進行插入操作的稱為隊尾，進行刪除操作的稱為隊頭；
隊列中的數(shù)據(jù)被稱為元素；沒有元素的隊列稱為空隊列。

由于只能一端刪除或者插入，所以只有最先進入隊列的才能被刪除，因此又被稱為先進先出（FIFO—first in first out）線性表。
這里我們用class類定義一個隊列，先進先出，隊尾入隊，隊頭出隊，該隊列要有定義以下功能：出隊、入隊、判斷是否為空、輸出隊列長度、返回隊頭元素。

class Queue(object):
    #初始化隊列
    def __init__(self):
        self.items = []
        
    #入隊
    def enqueue(self, item):
        self.items.append(item)
        
    #出隊
    def dequeue(self):
        if self.is_Empty():
            print("當前隊列為空??！")
        else:
            return self.items.pop(0)
        
    #判斷是否為空
    def is_Empty(self):
        return self.items == []
        
    #隊列長度
    def size(self):
        return len(self.items)
    
    #返回隊頭元素，如果隊列為空的話，返回None
    def front(self):
        if self.is_Empty():
            print("當前隊列為空?。?)
        else:
            return self.items[len(self.items) - 1]

內(nèi)鏈外鏈

內(nèi)鏈外鏈的區(qū)別：
內(nèi)鏈：是指同一網(wǎng)站域名下內(nèi)容頁面之間的互相鏈接。
外鏈：是指在別的網(wǎng)站導入自己網(wǎng)站的鏈接，如友情鏈接、外鏈的搭建等。
通俗的講，內(nèi)鏈即為帶有相同域名的鏈接，而外鏈的域名則不相同。

說到內(nèi)鏈外鏈，那必然離不開urllib庫了，首先導入庫

from urllib.parse import urlparse

用urlparse模塊來解析url鏈接，urlparse()模塊將url拆分為6部分：

scheme (協(xié)議)

netloc (域名)

path (路徑)

params (可選參數(shù))

query (連接鍵值對)

fragment (特殊錨)
url='https://image.baidu.com/'
a, b = urlparse(url).scheme, urlparse(url).netloc
print(a)
print(b)

#-----------------輸出結(jié)果---------------------#
https
image.baidu.com

請求頭

Header來源 用瀏覽器打開需要訪問的網(wǎng)頁，按F12，點開network，再按提示按ctr+R，點擊name選擇網(wǎng)站名，再看到有一個右邊框第一個headers，找到request headers，這個就是瀏覽器的請求頭， 復制其中的user-agent,復制內(nèi)容。

在這里插入圖片描述

這里的請求頭為：

headers_={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'}
html = requests.get(url,headers=headers_)

完整代碼

class Queue(object):
    #初始化隊列
    def __init__(self):
        self.items = []
        
    #入隊
    def enqueue(self, item):
        self.items.append(item)
        
    #出隊
    def dequeue(self):
        if self.is_Empty():
            print("當前隊列為空??！")
        else:
            return self.items.pop(0)
        
    #判斷是否為空
    def is_Empty(self):
        return self.items == []
        
    #隊列長度
    def size(self):
        return len(self.items)
    
    #返回隊頭元素，如果隊列為空的話，返回None
    def front(self):
        if self.is_Empty():
            print("當前隊列為空?。?)
        else:
            return self.items[len(self.items) - 1]


#導入庫
from urllib.request import urlopen
from urllib.parse import urlparse
from bs4 import BeautifulSoup
import requests
import re
import urllib.parse
import time
import random


queueInt = Queue()   #存儲內(nèi)鏈的隊列
queueExt = Queue()   #存儲外鏈的隊列

externalLinks = []
internalLinks = []

#獲取頁面中所有外鏈的列表
def getExterLinks(bs, exterurl):
    
    #找出所有以www或http開頭且不包含當前URL的鏈接
    for link in bs.find_all('a', href = re.compile
                            ('^(http|www)((?!'+urlparse(exterurl).netloc+').)*$')):
        #按照標準，URL只允許一部分ASCII字符，其他字符（如漢字）是不符合標準的，
        #我們的鏈接網(wǎng)址可能存在漢字的情況，此時就要進行編碼。
        link.attrs['href'] = urllib.parse.quote(link.attrs['href'],safe='?=&:/')
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in externalLinks:
                queueExt.enqueue(link.attrs['href'])
                externalLinks.append(link.attrs['href'])
                print(link.attrs['href'])
#     return externalLinks

#獲取頁面中所以內(nèi)鏈的列表    
def getInterLinks(bs, interurl):
    interurl = '{}://{}'.format(urlparse(interurl).scheme,
                                urlparse(interurl).netloc)
   
    #找出所有以“/”開頭的內(nèi)部鏈接
    for link in bs.find_all('a', href = re.compile
                            ('^(/|.*'+urlparse(interurl).netloc+')')):
        link.attrs['href'] = urllib.parse.quote(link.attrs['href'],safe='?=&:/')
        if link.attrs['href'] is not None:
            if link.attrs['href'] not in internalLinks:
        #startsWith()方法用來判斷當前字符串是否是以另外一個給定的子字符串“開頭”的
                if(link.attrs['href'].startswith('//')):
                    if interurl+link.attrs['href'] not in internalLinks:
                        queueInt.enqueue(interurl+link.attrs['href'])
                        internalLinks.append(interurl+link.attrs['href'])
                elif(link.attrs['href'].startswith('/')):
                    if interurl+link.attrs['href'] not in internalLinks:
                        queueInt.enqueue(interurl+link.attrs['href'])
                        internalLinks.append(interurl+link.attrs['href'])
                else:
                    queueInt.enqueue(link.attrs['href'])
                    internalLinks.append(link.attrs['href'])
#     return internalLinks

def deepLinks():
    num = queueInt.size()
    while num > 1:
        i = queueInt.dequeue()
        if i is None:
            break
        else:
            print('訪問的內(nèi)鏈')
            print(i)
            print('找到的新外鏈')
    #         html = urlopen(i)
            html=requests.get(i,headers=headers_)
            time.sleep(random.random()*3)
            domain1 = '{}://{}'.format(urlparse(i).scheme, urlparse(i).netloc)
            bs = BeautifulSoup(html.content, 'html.parser')
            getExterLinks(bs, domain1)
            getInterLinks(bs, domain1)


def getAllLinks(url):
    global num
#     html = urlopen(url)
    headers_={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'}
    html = requests.get(url,headers=headers_)
    time.sleep(random.random()*3) #模擬人類行為，間隔隨機的時間
    domain = '{}://{}'.format(urlparse(url).scheme, urlparse(url).netloc)
    bs = BeautifulSoup(html.content, 'html.parser')

    getInterLinks(bs, domain)
    getExterLinks(bs, domain)
    deepLinks()

getAllLinks('https://image.baidu.com/')

爬取結(jié)果

這里我只是截取一部分：

在這里插入圖片描述
在這里插入圖片描述

數(shù)組中的所有內(nèi)鏈

internalLinks

-------------輸出內(nèi)容------------------

['http://image.baidu.com',
 'https://image.baidu.com/img/image/imageplus/index.html?fr=image',
 'http://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1567133149621_R&pv=&ic=0&nc=1&z=0&hd=0&latest=0&copyright=0&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&sid=&word=%25E5%25A3%2581%25E7%25BA%25B8',
 'http://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1461834053046_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&itg=0&ie=utf-8&word=%25E5%25A4%25B4%25E5%2583%258F%23z=0&pn=&ic=0&st=-1&face=0&s=0&lm=-1',
 'https://image.baidu.com/search/albumslist?tn=albumslist&word=%25E8%25AE%25BE%25E8%25AE%25A1%25E7%25B4%25A0%25E6%259D%2590&album_tab=%25E8%25AE%25BE%25E8%25AE%25A1%25E7%25B4%25A0%25E6%259D%2590&rn=15&fr=searchindex',
 'https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%25E5%259F%258E%25E5%25B8%2582%25E5%25BB%25BA%25E7%25AD%2591%25E6%2591%2584%25E5%25BD%25B1%25E4%25B8%2593%25E9%25A2%2598&fr=searchindex_album%2520&album_tab=%25E5%25BB%25BA%25E7%25AD%2591&album_id=7&rn=30',
 'https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%25E6%25B8%2590%25E5%258F%2598%25E9%25A3%258E%25E6%25A0%25BC%25E6%258F%2592%25E7%2594%25BB&fr=albumslist&album_tab=%25E8%25AE%25BE%25E8%25AE%25A1%25E7%25B4%25A0%25E6%259D%2590&album_id=409&rn=30',
 'https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%25E7%259A%25AE%25E5%25BD%25B1&fr=albumslist&album_tab=%25E8%25AE%25BE%25E8%25AE%25A1%25E7%25B4%25A0%25E6%259D%2590&album_id=394&rn=30',
 'https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%25E5%25AE%25A0%25E7%2589%25A9%25E5%259B%25BE%25E7%2589%2587&fr=albumslist&album_tab=%25E5%258A%25A8%25E7%2589%25A9&album_id=688&rn=30',
 'https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%25E8%2588%25AA%25E6%258B%258D%25E5%259C%25B0%25E7%2590%2583%25E7%25B3%25BB%25E5%2588%2597&fr=albumslist&album_tab=%25E8%25AE%25BE%25E8%25AE%25A1%25E7%25B4%25A0%25E6%259D%2590&album_id=312&rn=30',
 'https://image.baidu.com/search/albumslist?tn=albumslist&word=%25E4%25BA%25BA%25E7%2589%25A9&album_tab=%25E4%25BA%25BA%25E7%2589%25A9&rn=15&fr=searchindex_album',
 'http://image.baidu.com/static/html/advanced.html',
 'https://image.baidu.com/',
 'http://image.baidu.com/']

數(shù)組中的所有外鏈

externalLinks

-------------輸出內(nèi)容------------------

['http://news.baidu.com/',
 'https://www.hao123.com/',
 'http://map.baidu.com/',
 'https://haokan.baidu.com/?sfrom=baidu-top/',
 'http://tieba.baidu.com/',
 'https://xueshu.baidu.com/',
 'http://www.baidu.com/more/',
 'https://pan.baidu.com',
 'https://zhidao.baidu.com',
 'https://baike.baidu.com',
 'https://baobao.baidu.com',
 'https://wenku.baidu.com',
 'https://jingyan.baidu.com',
 'http://music.taihe.com',
 'https://www.baidu.com',
 'https://www.baidu.com/',
 'http://www.baidu.com/duty/',
 'http://www.baidu.com/search/image_help.html',
 'http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=11000002000001',
 'http://help.baidu.com/question',
 'http://www.baidu.com/search/jubao.html',
 'http://www.baidu.com/search/faq_image.html%2305']

到此這篇關(guān)于Python爬取網(wǎng)頁的所有內(nèi)外鏈的文章就介紹到這了,更多相關(guān)Python爬取網(wǎng)頁內(nèi)外鏈內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • python之pyqt5通過按鈕改變Label的背景顏色方法

    python之pyqt5通過按鈕改變Label的背景顏色方法

    今天小編就為大家分享一篇python之pyqt5通過按鈕改變Label的背景顏色方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-06-06
  • python+matplotlib演示電偶極子實例代碼

    python+matplotlib演示電偶極子實例代碼

    這篇文章主要介紹了python+matplotlib演示電偶極子實例代碼，具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • Python設(shè)計密碼強度校驗程序

    Python設(shè)計密碼強度校驗程序

    這篇文章主要介紹了Python如何設(shè)計密碼強度校驗程序，文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下
    2020-07-07
  • python操作ini類型配置文件的實例教程

    python操作ini類型配置文件的實例教程

    這篇文章主要給大家介紹了關(guān)于python操作ini類型配置文件的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2020-10-10
  • 解決Jupyter notebook更換主題工具欄被隱藏及添加目錄生成插件問題

    解決Jupyter notebook更換主題工具欄被隱藏及添加目錄生成插件問題

    這篇文章主要介紹了解決Jupyter notebook更換主題工具欄被隱藏及添加目錄生成插件問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04
  • Keras搭建孿生神經(jīng)網(wǎng)絡Siamese?network比較圖片相似性

    Keras搭建孿生神經(jīng)網(wǎng)絡Siamese?network比較圖片相似性

    這篇文章主要為大家介紹了Keras搭建孿生神經(jīng)網(wǎng)絡Siamese?network比較圖片相似性，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
    2022-05-05
  • OpenCV目標檢測Meanshif和Camshift算法解析

    OpenCV目標檢測Meanshif和Camshift算法解析

    這篇文章主要為大家介紹了OpenCV目標檢測Meanshif和Camshift算法解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
    2023-04-04
  • Python中with...as...的使用方法

    Python中with...as...的使用方法

    with是從Python2.5引入的一個新的語法，它是一種上下文管理協(xié)議，目的在于從流程圖中把 try,except 和finally 關(guān)鍵字和資源分配釋放相關(guān)代碼統(tǒng)統(tǒng)去掉，簡化try….except….finlally的處理流程。具體內(nèi)容請看下面小編詳細的介紹
    2021-09-09
  • Python使用pydub庫對mp3與wav格式進行互轉(zhuǎn)的方法

    Python使用pydub庫對mp3與wav格式進行互轉(zhuǎn)的方法

    今天小編就為大家分享一篇Python使用pydub庫對mp3與wav格式進行互轉(zhuǎn)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • 梳理總結(jié)Python開發(fā)中需要摒棄的18個壞習慣

    梳理總結(jié)Python開發(fā)中需要摒棄的18個壞習慣

    大家好，今天給大家分享 18 個 Python 初學者常有的壞習慣，這些壞習慣不僅影響 Python 代碼的可讀性，而且 影響 Python 的運行性能，摒棄這些壞習慣并以 Pythonic 的方式編寫代碼，提高的不僅僅是你的代碼質(zhì)量，也給閱讀代碼的人留下好印象
    2022-01-01

最新評論