利用python下載scihub成文獻(xiàn)為PDF操作
scihub是科研利器,這就不多說了,白嫖文獻(xiàn)的法門,一般采用的是網(wǎng)頁或者桌面程序,一般都會跳轉(zhuǎn)到網(wǎng)頁進(jìn)行加載出文獻(xiàn),但是這很不方便,畢竟全手動,這里無意中看到一個寫好的pip工具scihub2pdf ,于是試一下它手動威力,如果這能夠成功,也就是我們以后如果想批量下載也是沒問題的。
1.首先我們得安裝它:
pip install scihub2pdf
2.緊接著安裝npm和phantomjs,因?yàn)檫@個代碼里面使用了phantomjs
yum install npm
切換到國內(nèi)源,威力網(wǎng)速給力,npm是nodejs的倉庫,我們類比成python的pip即可
npm config set registry https://registry.npm.taobao.org
安裝 phantomjs
npm install -g phantomjs
如果順利成功的話,就可以試一下這個工具了
3.scihub2pdf的使用
先來看一下使用幫助
[root@VM_0_9_centos ~]# scihub2pdf -h usage: scihub2pdf [-h] [--input INPUTFILE] [--title] [--uselibgen] [--location LOCATION] [--txt] SciHub to PDF ---------------------------------------------------- Downloads pdfs via a DOI number, article title or a bibtex file, using the database of libgen(sci-hub). Given a bibtex file $ scihub2pdf -i input.bib Given a DOI number... $ scihub2pdf 10.1038/s41524-017-0032-0 Given a title... $ scihub2pdf --title An useful paper Arxiv... $ scihub2pdf arxiv:0901.2686 $ scihub2pdf --title arxiv:Periodic table for topological insulators ## Download from list of items Given a text file like ``` 10.1038/s41524-017-0032-0 10.1063/1.3149495 ..... ``` download all pdf's ``` $ scihub2pdf -i dois.txt --txt ``` Given a text file like ``` Some Title 1 Some Title 2 ..... ``` download all pdf's ``` $ scihub2pdf -i titles.txt --txt --title ``` Given a text file like ``` arXiv:1708.06891 arXiv:1708.06071 arXiv:1708.05948 ..... ``` download all pdf's ``` $ scihub2pdf -i arxiv_ids.txt --txt ``` ----------------------------------------------------- @author: Bruno Messias @email: messias.physics@gmail.com @telegram: @brunomessias @github: https://github.com/bibcure/sci2pdf optional arguments: -h, --help show this help message and exit --input INPUTFILE, -i INPUTFILE bibtex input file --title, -t download from title --uselibgen Use libgen.io instead sci-hub. --location LOCATION, -l LOCATION folder, ex: -l 'folder/' --txt Just create a file with DOI's or titles
我們可以粗略看到,這個不僅僅可以doi還可批量的doi寫在一個文件里,進(jìn)行批量下載,更牛的是可以直接使用論文標(biāo)題進(jìn)行下載,這就理解為啥這里面需要想依賴phantomjs了,這玩意就是爬蟲用的。
我們來試一下:
[root@VM_0_9_centos ~]# scihub2pdf 10.1063/1.4991232
注意的是,這里需要修改源碼,因?yàn)橛玫逆溄硬粚Γ覀儜?yīng)該使用http://sci-hub.tw/而不是http://sci-hub.cc,在源碼(我自己的是在vim /opt/AN/lib/python3.7/site-packages/scihub2pdf/download.py修改的,根據(jù)自己pip安裝的路徑進(jìn)行調(diào)整)的download.py下就可找到進(jìn)行修改,因?yàn)閏c這個鏈接已經(jīng)用不了的。
還可以下載arxiv上的論文,比如
[root@VM_0_9_centos ~]# scihub2pdf arxiv:2003.02355
下載時(shí)間都是有點(diǎn)慢的,要等一會才能成功,因?yàn)槎际窃L問的國外的網(wǎng)站
以上這篇利用python下載scihub成文獻(xiàn)為PDF操作就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
python數(shù)據(jù)分析之聚類分析(cluster analysis)
聚類分析本身不是一個特定的算法,而是要解決的一般任務(wù)。它可以通過各種算法來實(shí)現(xiàn),這些算法在理解群集的構(gòu)成以及如何有效地找到它們方面存在顯著差異。這篇文章主要介紹了python數(shù)據(jù)分析之聚類分析(cluster analysis),需要的朋友可以參考下2021-11-11Python3 + Appium + 安卓模擬器實(shí)現(xiàn)APP自動化測試并生成測試報(bào)告
這篇文章主要介紹了Python3 + Appium + 安卓模擬器實(shí)現(xiàn)APP自動化測試并生成測試報(bào)告,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01Python使用pandas導(dǎo)入csv文件內(nèi)容的示例代碼
這篇文章主要介紹了Python使用pandas導(dǎo)入csv文件內(nèi)容,本文結(jié)合示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-12-12淺析python3中的os.path.dirname(__file__)的使用
這篇文章主要介紹了python3中的os.path.dirname(__file__)的使用,非常不錯,具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-08-08構(gòu)建?Python?命令行參數(shù)的?4?種常見方式
這篇文章主要介紹了構(gòu)建?Python?命令行參數(shù)的?4?種常見方式,文章圍繞主題展開詳細(xì)的內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-06-06python中main函數(shù)(主函數(shù))相關(guān)應(yīng)用例子
這篇文章主要介紹了python中main函數(shù)(主函數(shù))相關(guān)應(yīng)用,本文通過示例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2023-05-05解決tensorflow訓(xùn)練時(shí)內(nèi)存持續(xù)增加并占滿的問題
今天小編就為大家分享一篇解決tensorflow訓(xùn)練時(shí)內(nèi)存持續(xù)增加并占滿的問題,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01