class Joke:
? ? '''
? ? 表示一個(gè)笑話。
? ? 其中title是笑話標(biāo)題，detail是笑話內(nèi)容
? ? url是笑話的采集網(wǎng)址，通過url判定笑話是否重復(fù)，防止保存重復(fù)笑話
? ? id是數(shù)據(jù)庫生成的唯一標(biāo)識(shí)符，剛剛采集下來的笑話是沒有id的，所以id可以為空
? ? '''
? ? def __init__(self, title, detail, url, id=None):
? ? ? ? self.title = title
? ? ? ? self.detail = detail
? ? ? ? self.url = url
? ? ? ? self.id = id

? ? def __str__(self):
? ? ? ? '''
? ? ? ? 有了這個(gè)方法，print(joke)會(huì)把笑話打印成下面格式的字符串，否則只會(huì)打印對象的內(nèi)存地址
? ? ? ? '''
? ? ? ? return f'{id}-{title}\n{detail}\n{url}'

title = html.select_one('h1.article-title').getText()

import requests
import bs4
import time
import random
#先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來
#import joke_db 
from joke import Joke

#起始URL
url = 'http://xiaohua.zol.com.cn/detail1/1.html'  

#網(wǎng)站的域名地址，用來拼接完整地址
host = 'http://xiaohua.zol.com.cn'

def craw_joke(url):
    '''
    抓取指定的URL，返回一個(gè)Joke對象，和下一個(gè)要抓取的URL
    如果抓取失敗，返回None, None
    必須設(shè)置User-Agent header，否則容易被封
    '''
    print(f'正在抓?。簕url}')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }
    html = requests.get(url, headers=headers).text
    soup = bs4.BeautifulSoup(html, 'lxml')
    try:
        #分別使用css選擇器提取title, detail和next_url
        title = soup.select_one('h1.article-title').getText()
        detail = soup.select_one('div.article-text').getText().strip()
        next_url = soup.select_one('span.next > a')['href']
        return Joke(title, detail, url), next_url
    except Exception as e:
        print('出錯(cuò)了：', e)
        print(html)
        return None, None 

# 抓取笑話，以學(xué)習(xí)為目的，建議不要抓取太多，本例子只抓取了10個(gè)
count = 0
for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一會(huì)兒再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

import sqlite3
from joke import Joke 

def setup():
    '''
    創(chuàng)建數(shù)據(jù)庫和創(chuàng)建表，如果已經(jīng)存在了不會(huì)重復(fù)創(chuàng)建
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        con.execute('''CREATE TABLE IF NOT EXISTS jokes
                    (id INTEGER PRIMARY KEY,
                    title varchar(256) NOT NULL,
                    detail varchar(1024) NOT NULL,
                    url varchar(1024) NOT NULL)''')

def save(joke):
    '''
    把笑話保存到數(shù)據(jù)庫
    根據(jù)url判斷是否已經(jīng)有這個(gè)笑話了，如果有了就不再保存
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        cur = con.cursor()
        cur.execute(
            'SELECT * FROM jokes WHERE (url = ?)', [(joke.url)])
        has_joke = cur.fetchone()
        if has_joke:
            print('重復(fù)了，不再插入')
        else:
            con.execute('INSERT INTO jokes(title, detail, url) VALUES (?,?,?)', (joke.title, joke.detail, joke.url))
            print('笑話保存成功')

def get_jokes():
    '''
    返回所有的笑話列表
    '''
    print('loading jokes...')
    con = sqlite3.connect('jokeDB.db')
    jokes = []
    with con:
        for row in con.execute('SELECT * FROM jokes'):
            joke = Joke(row[1], row[2], row[3], row[0])
            jokes.append(joke)
    return jokes

# 調(diào)用最上面的代碼
setup()

# 測試代碼，本模塊被別的模塊引入的時(shí)候，不會(huì)執(zhí)行下面的代碼
if __name__ == '__main__':
    save(Joke('笑話Test', '笑話內(nèi)容test', 'https://www.joke.com/1.html'))
    save(Joke('笑話Test2', '笑話內(nèi)容test', 'https://www.joke.com/2.html'))
    print('========打印一下所有的笑話======')
    for joke in get_jokes():
        print(joke)
        print()

> python joke_db.py
笑話保存成功
笑話保存成功
========打印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內(nèi)容test
https://www.joke.com/1.html

2-笑話Test2
笑話內(nèi)容test
https://www.joke.com/2.html

#先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來
#import joke_db 

for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一會(huì)兒再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

========打印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內(nèi)容test
https://www.joke.com/1.html

2-笑話Test2
笑話內(nèi)容test
https://www.joke.com/2.html

3-成功
她：“因?yàn)閯e人都不同情你，我才做你的妻子。”他：“你總算成功了?，F(xiàn)在每個(gè)人都因此同情我?！?
http://xiaohua.zol.com.cn/detail1/1.html

4-結(jié)婚以后
女：“為什么從前你對我百依百順，可結(jié)婚才三天，你就跟我吵了兩天的架？”男：“因?yàn)槲业娜棠褪怯邢薅鹊??！?
http://xiaohua.zol.com.cn/detail1/2.html

5-我們的
燕爾新婚，新娘對新郎說：“今后咱們不興說‘我的'了，要說‘我們的'。”新郎去洗澡，良久不出，新娘問：“你在干什么哪？”“親愛的，我在刮我們的胡子呢?！?
http://xiaohua.zol.com.cn/detail1/3.html

6-杞人憂天
妻子患了重病，醫(yī)生宣告回天乏術(shù)。妻子即對丈夫說：“我現(xiàn)在希望你能夠發(fā)誓?！薄鞍l(fā)什么誓?！薄叭绻阍倩?，不準(zhǔn)把我的衣服給你的新妻子穿?！闭煞蚧腥淮笪虻溃骸斑@個(gè)我可以發(fā)誓。說實(shí)話，你根本不必操心，因?yàn)槲以僖膊幌胝蚁衲氵@樣胖的太太了?！?
http://xiaohua.zol.com.cn/detail1/5.html

7-理由充分
法官：“離婚理由是什么？”新娘：“他打呼嚕?！狈ü伲骸敖Y(jié)婚多長時(shí)間了？”新娘：“三天。”法官：“離婚理由充分，結(jié)婚三天還不是打呼嚕的時(shí)候?！?
http://xiaohua.zol.com.cn/detail1/6.html

8-聰明丈夫
某夫婦當(dāng)街而過，一只鴿子飛過天空，一泡鴿糞不偏不倚正巧落在太太肩上，太太急了，忙叫丈夫拿紙。丈夫抬頭，見鴿子不講衛(wèi)生，到處拉屎，卻不知妻子叫他拿紙干嘛，說：“叫我有啥辦法，追上前去給它擦屁股呀！ ”
http://xiaohua.zol.com.cn/detail1/8.html

9-事故與災(zāi)難
一位夫人問她的丈夫：“親愛的，你能告訴我‘事故'與‘災(zāi)難'這兩個(gè)詞之間有什么區(qū)別嗎？”“這很簡單。”丈夫認(rèn)真地回答說，“譬如你失足落水，這就叫‘事故'；如果人家又把你當(dāng)魚釣上來，這就是‘災(zāi)難'了?！?
http://xiaohua.zol.com.cn/detail1/13.html

10-吵架的結(jié)果
夫妻吵架了。當(dāng)丈夫下班回到家里，他發(fā)現(xiàn)妻子不在家。只在桌上留了一個(gè)條子，上面寫道：“午飯?jiān)凇杜胝{(diào)大全》第215頁；晚飯?jiān)?17頁?！?
http://xiaohua.zol.com.cn/detail1/14.html

11-保險(xiǎn)之險(xiǎn)
太太不懂保險(xiǎn)的道理，認(rèn)為繳保險(xiǎn)費(fèi)是浪費(fèi)，先生連忙解釋說：“保險(xiǎn)是為了你和孩子，萬一我死了；你們也有個(gè)保障呀！ ”太太反駁說：“要是你不死呢？”
http://xiaohua.zol.com.cn/detail1/16.html

12-補(bǔ)不足
妻：“我曉得，你與我結(jié)婚，是因?yàn)槲矣绣X?！狈颍骸安皇牵且?yàn)槲覜]有錢。”
http://xiaohua.zol.com.cn/detail1/17.html