Python 利用Entrez庫篩選下載PubMed文獻(xiàn)摘要的示例
作者:xiaolanLin
聲明 :本文版權(quán)歸作者和博客園共有,來源網(wǎng)址:https://www.cnblogs.com/xiaolan-Lin
一個不是學(xué)生物的孩子來搞生物,當(dāng)真是變成了一塊廢鐵啊,但也是讓我體會到了一把生物信息的力量。
廢話不多說,開整!
任務(wù):快速高效從PubMed上下載滿足條件的文獻(xiàn)PMID、標(biāo)題(TI)、摘要(AB)。
PubMed官網(wǎng) https://pubmed.ncbi.nlm.nih.gov
此處有幾種選擇可以達(dá)到目的:
(1)官網(wǎng)上匹配篩選條件(注:匹配快速,但是下載下來的數(shù)量受到限制,每次只能下載10000條數(shù)據(jù),甚至更少。)
可以看到,我需要的數(shù)據(jù)是有三十多萬條,但是每次只能下載10000條,那我豈不是要手動n次。。很明顯,在大批量下載文獻(xiàn)的情況下,官網(wǎng)不是很友好。
(2)R語言有個R包,叫做easyPubMed,這里我也給大家貼上學(xué)習(xí)指南(https://cran.r-project.org/web/packages/easyPubMed/vignettes/getting_started_with_easyPubMed.html)
由于我不喜歡用R寫代碼,所以我寫一半還是換了Python,熟練R的小伙伴可以自行根據(jù)指南走通需求。
(3)重量級庫來了,Python自帶的Bio包中的Entrez檢索庫,簡直就是我的救星,以下是我的代碼:
注:Entrez在Bio包中,Bio的安裝請移步 https://www.cnblogs.com/xiaolan-Lin/p/14023147.html
import numpy as np from Bio import Medline, Entrez # 一般是通過BioPython的Bio.Entrez模塊訪問Entrez from collections import Counter Entrez.email = "(此處寫你自己在官網(wǎng)注冊的郵箱賬號)" # 應(yīng)用自己的賬號訪問NCBI數(shù)據(jù)庫 # 此處需將服務(wù)器協(xié)議指定為1.0,否則會出現(xiàn)報錯。http.client.IncompleteRead: IncompleteRead(0 bytes read) # 服務(wù)器http協(xié)議1.0,而python的是1.1,解決辦法就是指定客戶端http協(xié)議版本 import http.client http.client.HTTPConnection._http_vsn = 10 http.client.HTTPConnection._http_vsn_str = 'HTTP/1.0' """ Entrez 是一個檢索系統(tǒng),可以用其訪問NCBI數(shù)據(jù)庫,比如說PubMed,GenBank,GEO等。 獲得有關(guān) global PBDE 的所有文獻(xiàn)的PubMed IDs """ # handle_0 = Entrez.esearch(db="pubmed", term="drug therapy[Subheading] AND adverse effects[Subheading] AND humans[MeSH Terms]", retmax=306431) handle_0 = Entrez.esearch(db="pubmed", term="drug therapy[MeSH Subheading] AND adverse effects[MeSH Subheading] AND humans[MeSH Terms] AND (2000/01/01[Date - Publication] : 2021/12/31[Date - Publication])", ptyp="Review", usehistory="y", retmax=306431) record = Entrez.read(handle_0) # 獲取檢索條件的所有文獻(xiàn) idlist = record["IdList"] # 提取出文獻(xiàn)id print ("Total: ", record["Count"]) No_Papers = len(idlist) # 共306431篇文獻(xiàn) 2000-01-01:2021-12-31 webenv = record['WebEnv'] query_key = record['QueryKey'] total = No_Papers step = 1300 print("Result items:", total) with open("./Data_PubMed/PBDE1.txt", 'w') as f: for start in range(0, total, step): print("Download record %i to %i" % (start + 1, int(start + step))) handle_1 = Entrez.efetch(db="pubmed", retstart=start, rettype="medline", retmode="text", retmax=step, webenv=webenv, query_key=query_key) # 獲取上述所有文獻(xiàn)的PubMed IDs records = Medline.parse(handle_1) records = list(records) # 將迭代器轉(zhuǎn)換至列表(list) for index in np.arange(len(records)): id = records[index].get("PMID", "?") title = records[index].get("TI", "?") title = title.replace('[', '').replace('].', '') # 若提取的標(biāo)題出現(xiàn)[].符號,則去除 abstract = records[index].get("AB", "?") f.write(id) f.write("\n") f.write(title) f.write("\n") f.write(abstract) f.write("\n")
話不多說,結(jié)果跑出來了我真的很快樂~
最后的結(jié)果是存放在txt文件中,大伙兒根據(jù)自己的需求改變代碼所需字段啊。
現(xiàn)在我來解釋一下,我貼上的這串代碼的實現(xiàn)原理,首先是通過Entrez檢索到符合我篩選條件的文獻(xiàn),里邊的限制條件包括了幾個詞匯匹配以及時間限制,時間我限制在了2000年1月1日到2021年的12月31日(這里的時間我選用的是Date - Publication,時間選取Date - Completion、Date - Modification還是Date - Publication其實還是有爭議的,大家自行考慮選?。?/p>
Entrez.esearch的作用就是用來檢索的,里邊的參數(shù)db指向你要檢索的數(shù)據(jù)庫,代碼中的注釋也寫了,Entrez作為一個接口檢索,除了能夠檢索PubMed中的文獻(xiàn),也能去到別的數(shù)據(jù)庫檢索文獻(xiàn);term是寫你的篩選語句,注意你寫的檢索語句不能帶有引號,單引號也不行,否則會檢索不到,如果不知道檢索語句怎么寫,或者是不知道字段是否被定義,可以在官網(wǎng)的檢索那里https://pubmed.ncbi.nlm.nih.gov/advanced/選擇字段輸入內(nèi)容自動生成query,但是生成的語句是不太智能的,會有很多括號是你不需要的,自己寫代碼的時候要適當(dāng)去掉;ptyp我這里用的是Review,usehistory是y,意思是后邊我的檢索要記住這個語句,根據(jù)歷史查詢來檢索;retmax如果不進(jìn)行設(shè)置的話,默認(rèn)給你的最大數(shù)據(jù)量好像是只有1000,我要的檢索內(nèi)容是超過這個值的,因此我需要自定義檢索的數(shù)量。
Entrez.read是對Entrez.esearch檢索到的內(nèi)容進(jìn)行讀取,里邊包含了9種元素,我們主要是想從中得到文獻(xiàn)的id號,只有拿到了文獻(xiàn)的id號,我們后面進(jìn)行摘要的提取才能準(zhǔn)確定位。
最后是循環(huán)當(dāng)中步長的設(shè)置,這里就要根據(jù)自己的需求來定義了,包括內(nèi)容的提取,因為我只需要PMID、標(biāo)題(TI)、摘要(AB),所以我就沒有加載別的內(nèi)容進(jìn)來,這里也有一點要注意,標(biāo)題下載下來是大部分帶有[ ].的,方便操作我直接就在下載的時候給去除了,這也是上面replace代碼的由來。
附上我參考的鏈接,如果我這篇文章解決不了你的問題,那么希望下面的渠道能夠幫助到你
https://zhuanlan.zhihu.com/p/54611852
https://zhuanlan.zhihu.com/p/262957260
以上就是Python 利用Entrez庫篩選下載PubMed文獻(xiàn)摘要的示例的詳細(xì)內(nèi)容,更多關(guān)于Python Entrez庫下載PubMed文獻(xiàn)的資料請關(guān)注腳本之家其它相關(guān)文章!
- python 批量下載bilibili視頻的gui程序
- python 使用tkinter+you-get實現(xiàn)視頻下載器
- python 下載文件的多種方法匯總
- 利用python 下載bilibili視頻
- python實現(xiàn)簡單的tcp 文件下載
- Python HTMLTestRunner如何下載生成報告
- Python下載網(wǎng)易云歌單歌曲的示例代碼
- python下載的庫包存放路徑
- python實現(xiàn)從ftp上下載文件的實例方法
- python如何安裝下載后的模塊
- Python連接HDFS實現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作
- 完美解決python針對hdfs上傳和下載的問題
相關(guān)文章
python獲取當(dāng)前計算機(jī)cpu數(shù)量的方法
這篇文章主要介紹了python獲取當(dāng)前計算機(jī)cpu數(shù)量的方法,涉及Python操作計算機(jī)硬件的技巧,代碼簡單易懂,非常具有實用價值,需要的朋友可以參考下2015-04-04python+selenium實現(xiàn)自動搶票功能實例代碼
Selenium是ThoughtWorks公司的一個強(qiáng)大的開源Web功能測試工具系列,采用Javascript來管理整個測試過程,包括讀入測試套件、執(zhí)行測試和記錄測試結(jié)果。這篇文章主要介紹了python+selenium實現(xiàn)自動搶票,需要的朋友可以參考下2018-11-11使用django的objects.filter()方法匹配多個關(guān)鍵字的方法
今天小編就為大家分享一篇使用django的objects.filter()方法匹配多個關(guān)鍵字的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07