pip install newspaper3k

## 用Article爬取單條新聞
from newspaper import Article
# 目標(biāo)新聞網(wǎng)址
url = 'http://news.southcn.com/gd/content/2019-12/06/content_189723331.htm'
news = Article(url, language='zh')
news.download()        # 加載網(wǎng)頁(yè)
news.parse()           # 解析網(wǎng)頁(yè)
print('題目：',news.title)       # 新聞?lì)}目
print('正文：\n',news.text)      # 正文內(nèi)容                                       
print(news.authors)     # 新聞作者
print(news.keywords)    # 新聞關(guān)鍵詞
print(news.summary)     # 新聞?wù)?

# print(news.top_image) # 配圖地址
# print(news.movies)    # 視頻地址
# print(news.publish_date) # 發(fā)布日期
# print(news.html)      # 網(wǎng)頁(yè)源代碼

題目： 最短10分鐘 廣州南站直達(dá)市中心
正文：
 專(zhuān)家建議應(yīng)在核心區(qū)內(nèi)貫徹站城一體的建設(shè)理念，保障多層級(jí)地下空間的連續(xù)，對(duì)人流進(jìn)行分層管理，明確南站要建以軌道交通為銜接的立體樞紐。

南方網(wǎng)訊 5日，《廣州南站周邊地區(qū)控制性詳細(xì)規(guī)劃深化》在廣州市規(guī)委會(huì)會(huì)議上獲得通過(guò)。該規(guī)劃針對(duì)廣州南站啟用近10年來(lái)面臨的問(wèn)題進(jìn)行全面梳理。規(guī)劃提出，要在36平方公里的規(guī)劃范圍內(nèi)，形成7大組團(tuán)協(xié)同發(fā)展，打造高350米的站前地標(biāo)建筑，對(duì)12條舊村將進(jìn)行全面改造。

規(guī)委會(huì)上，南站內(nèi)外交通優(yōu)化問(wèn)題最受關(guān)注。專(zhuān)家建議應(yīng)在核心區(qū)內(nèi)貫徹站城一體的建設(shè)理念，保障多層級(jí)地下空間的連續(xù)，對(duì)人流進(jìn)行分層管理，明確南站要建以軌道交通為銜接的立體樞紐。

為此，本輪規(guī)劃在南站地區(qū)規(guī)劃了9條軌道交通，規(guī)劃軌道線(xiàn)路總長(zhǎng)38.2公里，共設(shè)站點(diǎn)16座，軌道站點(diǎn)覆蓋率達(dá)37.8%，核心區(qū)軌道交通站點(diǎn)覆蓋率達(dá)100%。9條軌道交通分別是：3條城際軌道——廣珠城際：廣州南站—珠海；廣佛環(huán)城際：廣州南站—金融城—白云機(jī)場(chǎng)—佛山西站—廣州南站；佛莞城際：佛山—廣州南站—莞城。4條地鐵——2號(hào)線(xiàn)：嘉禾望崗—廣州南站；7號(hào)線(xiàn)：佛山北滘新城—廣州南站—蘿崗；22號(hào)線(xiàn)：南沙客運(yùn)港—廣州南站—白鵝潭—白云機(jī)場(chǎng)；佛山2號(hào)線(xiàn)：佛山西站—廣州南站。2條有軌電車(chē)——南海新交通：廣州南站—南海金融高新區(qū)；N2線(xiàn)：廣州南站—大夫山—市橋—蓮花山。

此外，規(guī)劃提出要構(gòu)建4條南站與廣州中心城區(qū)快速連接的直達(dá)干道，只需10—20分鐘就能從南站直達(dá)市中心。

南方日?qǐng)?bào)記者 劉懷宇 通訊員 穗規(guī)資宣
[]
[]

>>> import newspaper
>>> newspaper.languages()    # 查看newspaper庫(kù)支持的語(yǔ)言及其對(duì)應(yīng)參數(shù)輸入

Your available languages are:

input code      full name
  ar              Arabic
  be              Belarusian
  bg              Bulgarian
  da              Danish
  de              German
  el              Greek
  en              English
  es              Spanish
  et              Estonian
  fa              Persian
  fi              Finnish
  fr              French
  he              Hebrew
  hi              Hindi
  hr              Croatian
  hu              Hungarian
  id              Indonesian
  it              Italian
  ja              Japanese
  ko              Korean
  mk              Macedonian
  nb              Norwegian (Bokm?l)
  nl              Dutch
  no              Norwegian
  pl              Polish
  pt              Portuguese
  ro              Romanian
  ru              Russian
  sl              Slovenian
  sr              Serbian
  sv              Swedish
  sw              Swahili
  tr              Turkish
  uk              Ukrainian
  vi              Vietnamese
  zh              Chinese

import newspaper
url = 'http://www.southcn.com/'      # 南方網(wǎng)
south_paper = newspaper.build(url, language='zh')    # 構(gòu)建新聞源

>>> south_paper.size()   # 查看有多少鏈接
1838

>>> ## 在默認(rèn)文章緩存的情況下過(guò)一段時(shí)間后再次
>>> url = 'http://www.southcn.com/'      # 南方網(wǎng)
>>> new_south_paper = newspaper.build(url, language='zh')    # 構(gòu)建新的新聞源
>>> new_south_paper.size()
18

south_paper = newspaper.build(url,language='zh',memoize_articles = False)    # 構(gòu)建新聞源

# 提取源類(lèi)別
for category in south_paper.category_urls():
    print(category)

http://www.southcn.com/
http://pc.nfapp.southcn.com
http://culture.southcn.com
http://theory.southcn.com
http://creditgd.southcn.com
......

# 提取源新聞網(wǎng)站的品牌和描述
print('品牌：',south_paper.brand)  # 品牌
print('描述：',south_paper.description) # 描述

品牌： southcn
描述： 南方網(wǎng)/南方新聞網(wǎng)是經(jīng)中共廣東省委，廣東省人民政府批準(zhǔn)建設(shè)的新聞宣傳網(wǎng)站。南方網(wǎng)/南方新聞網(wǎng)由廣東省委宣傳部主辦主管并作為南方報(bào)業(yè)傳媒集團(tuán)之成員單位，獲國(guó)務(wù)院新聞辦公室批準(zhǔn)從事登載新聞業(yè)務(wù)并被確定為全國(guó)重點(diǎn)新聞網(wǎng)站之一。南方網(wǎng)/南方新聞網(wǎng)作為華南地區(qū)最大型的新聞融合平臺(tái)，是國(guó)內(nèi)外網(wǎng)民認(rèn)識(shí)、了解廣東最權(quán)威、最快捷的途徑。

# 查看新聞源下面的所有新聞鏈接
for article in south_paper.articles:
    print(article.url)

len(south_paper.articles)      # 查看新聞鏈接的數(shù)量，與south_paper.size()一致

http://www.southcn.com/pc2018/nfrmt/node_384365.htm
http://www.southcn.com/pc2018/xczx/node_384360.htm
http://tech.southcn.com/t/2019-12/09/content_189747678.htm
http://tech.southcn.com/t/2019-12/09/content_189747668.htm
http://tech.southcn.com/t/2019-12/09/content_189747657.htm
...

1838

# 提前其中一篇文章
one_article = south_paper.articles[3]       # 選擇第四條新聞鏈接
one_article.download()                      # 下載網(wǎng)頁(yè)
one_article.parse()                         # 解析網(wǎng)頁(yè)
print("標(biāo)題：",one_article.title)
print("正文：",one_article.text)

標(biāo)題： 創(chuàng)新的佛山呼喚一條創(chuàng)新街
正文： 錢(qián)塘江畔的杭州高新區(qū)，僅一公里長(zhǎng)的物聯(lián)網(wǎng)街集聚了?？低暋⒓?chē)等數(shù)十家高科技企業(yè)的總部及研發(fā)部門(mén)。人才、技術(shù)、資金等創(chuàng)新要素在這個(gè)街區(qū)匯集。

錢(qián)塘江畔的杭州高新區(qū)，僅一公里長(zhǎng)的物聯(lián)網(wǎng)街集聚了海康威視、吉利汽車(chē)等數(shù)十家高科技企業(yè)的總部及研發(fā)部門(mén)。人才、技術(shù)、資金等創(chuàng)新要素在這個(gè)街區(qū)匯集。

“創(chuàng)新街區(qū)”這一集生活與創(chuàng)新于一體，高端研發(fā)機(jī)構(gòu)、企業(yè)集群、孵化器匯集的城市經(jīng)濟(jì)空間，正以其物理空間的緊湊性、交通的通達(dá)性、技術(shù)的網(wǎng)絡(luò)互動(dòng)性等優(yōu)勢(shì)，逐步走進(jìn)大眾視野。

近年來(lái)，創(chuàng)新街區(qū)在全球得到蓬勃發(fā)展。在國(guó)外，紐約硅巷、劍橋肯戴爾廣場(chǎng)等街區(qū)成為科技型中小企業(yè)集聚地的典型樣本;在國(guó)內(nèi)，北京中關(guān)村、深圳華強(qiáng)北等同樣是創(chuàng)新創(chuàng)業(yè)資源最為密集的特色街區(qū)。

一定程度上說(shuō)，創(chuàng)新街區(qū)是介乎創(chuàng)新龍頭企業(yè)與高新園區(qū)的中間態(tài)，是創(chuàng)新集聚從“點(diǎn)”到“面”的龍門(mén)一躍。

杭州物聯(lián)網(wǎng)街是一個(gè)典型案例。作為杭州高新區(qū)的主導(dǎo)產(chǎn)業(yè)，物聯(lián)網(wǎng)產(chǎn)業(yè)的核心技術(shù)集聚正是從這條街起步。隨著?？低?、大華股份等一批龍頭企業(yè)率先遷入，一批產(chǎn)業(yè)鏈上下游企業(yè)迅速涌入物聯(lián)網(wǎng)街，行業(yè)先進(jìn)技術(shù)與高端人才逐步聚集。

當(dāng)產(chǎn)業(yè)集聚發(fā)展到一定水平，街區(qū)的城市化建設(shè)也隨之加速。當(dāng)?shù)夭簧倨髽I(yè)員工表示，5年前物聯(lián)網(wǎng)街兩旁還是一片空地。如今，物聯(lián)網(wǎng)街的發(fā)展已高度現(xiàn)代化，學(xué)校、醫(yī)院、商場(chǎng)等生活配套十分齊全。

而另一個(gè)制造業(yè)中心佛山，擁有美的、格蘭仕等一批創(chuàng)新龍頭企業(yè)，三龍灣、佛山高新區(qū)等重大創(chuàng)新平臺(tái)也正在穩(wěn)步崛起，不缺創(chuàng)新的“點(diǎn)”與“面”。然而，具有一定影響力的高水平創(chuàng)新街區(qū)在佛山卻暫時(shí)未能涌現(xiàn)。

早在2013年，佛山高新區(qū)就提出要打造科技一條街，探索金融和科技產(chǎn)業(yè)的創(chuàng)新融合，用10余個(gè)科技創(chuàng)新載體的密集建設(shè)，為佛高區(qū)打造科創(chuàng)新城積蓄力量。同在2013年，佛山提出要打造民間金融街，為產(chǎn)業(yè)發(fā)展提供金融支撐。如今，這些創(chuàng)新街區(qū)的雛形已現(xiàn)，但對(duì)標(biāo)國(guó)際國(guó)內(nèi)一流水平，其輻射力與集聚力仍有待提高。

一個(gè)創(chuàng)新街區(qū)的形成離不開(kāi)政府、企業(yè)與人才三大主體。一個(gè)成熟的創(chuàng)新街區(qū)往往能讓創(chuàng)新創(chuàng)業(yè)企業(yè)獲得更多知識(shí)溢出，讓高端人才獲得更好的生活體驗(yàn)，讓地方政府從中獲取更多綜合效益。

佛山在這一領(lǐng)域不缺資源、不缺平臺(tái)，更不缺希望和未來(lái)。借鑒杭州物聯(lián)網(wǎng)街的發(fā)展經(jīng)驗(yàn)，佛山可通過(guò)強(qiáng)化規(guī)劃引領(lǐng)突出產(chǎn)業(yè)功能分區(qū)，形成主業(yè)突出、分工協(xié)作、科學(xué)有序的平臺(tái)格局。同時(shí)，用好用活政策工具，鼓勵(lì)龍頭企業(yè)發(fā)揮創(chuàng)新帶動(dòng)作用，引導(dǎo)上下游全產(chǎn)業(yè)鏈創(chuàng)新要素形成集聚。更重要的是，佛山可立足產(chǎn)業(yè)基礎(chǔ)發(fā)揮優(yōu)勢(shì)，加速推進(jìn)“城產(chǎn)人”融合發(fā)展，完善高端人才工作生活的配套。依托這一系列有力有效的作為，我們期待，在創(chuàng)新的佛山找到全新的創(chuàng)新街區(qū)。

import pandas as pd         # 導(dǎo)入pandas庫(kù)
news_title = []
news_text = []
news = south_paper.articles
for i in range(len(news)):    # 以新聞鏈接的長(zhǎng)度為循環(huán)次數(shù)
    paper = news[i]
    try :
        paper.download()
        paper.parse()
        news_title.append(paper.title)     # 將新聞?lì)}目以列表形式逐一儲(chǔ)存
        news_text.append(paper.text)       # 將新聞?wù)囊粤斜硇问街鹨粌?chǔ)存
    except:
        news_title.append('NULL')          # 如果無(wú)法訪問(wèn)，以NULL替代
        news_text.append('NULL')          
        continue
# 建立數(shù)據(jù)表存儲(chǔ)爬取的新聞信息
south_paper_data = pd.DataFrame({'title':news_title,'text':news_text})
south_paper_data