如何將PySpark導(dǎo)入Python的放實(shí)現(xiàn)(2種)
方法一
使用findspark
使用pip安裝findspark：
pip install findspark
在py文件中引入findspark：
>>> import findspark >>> findspark.init()
導(dǎo)入你要使用的pyspark庫(kù)
>>> from pyspark import *
優(yōu)點(diǎn)：簡(jiǎn)單快捷
缺點(diǎn)：治標(biāo)不治本，每次寫(xiě)一個(gè)新的Application都要加載一遍findspark
方法二
把預(yù)編譯包中的Python庫(kù)文件添加到Python的環(huán)境變量中
export SPARK_HOME=你的PySpark目錄 export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
優(yōu)點(diǎn)：一勞永逸
缺點(diǎn)：對(duì)于小白可能不太了解環(huán)境變量是什么
問(wèn)題1、ImportError: No module named pyspark
現(xiàn)象：
- 已經(jīng)安裝配置好了PySpark，可以打開(kāi)PySpark交互式界面；
- 在Python里找不到pysaprk。
參照上面解決
問(wèn)題2、ImportError: No module named ‘py4j'
現(xiàn)象：
已經(jīng)安裝配置好了PySpark，可以打開(kāi)PySpark交互式界面；
按照上面的b方式配置后出現(xiàn)該問(wèn)題。
解決方法：
把py4j添加到Python的環(huán)境變量中
export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意：這里的py4j-x.xx-src.zip根據(jù)自己電腦上的py4j版本決定。
測(cè)試成功的環(huán)境
- Python: 3.7、2.7
- PySpark: 1.6.2 - 預(yù)編譯包
- OS: Mac OSX 10.11.1
參考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?
到此這篇關(guān)于如何將PySpark導(dǎo)入Python的放實(shí)現(xiàn)(2種)的文章就介紹到這了,更多相關(guān)PySpark導(dǎo)入Python內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Ubuntu下python3.8的安裝與卸載，本文以在 Ubuntu 16.04 中安裝為例，方法同樣適用于 Ubuntu 18.04,需要的朋友可以參考下2021-09-09
django數(shù)據(jù)模型（Model）的字段類(lèi)型解析
這篇文章主要介紹了django數(shù)據(jù)模型（Model）的字段類(lèi)型,文中給大家提到了django數(shù)據(jù)模型on_delete, db_constraint的使用,需要的朋友可以參考下2019-12-12
Jmeter通過(guò)OS進(jìn)程取樣器調(diào)用Python腳本實(shí)現(xiàn)參數(shù)互傳
這篇文章主要介紹了Jmeter通過(guò)OS進(jìn)程取樣器調(diào)用Python腳本實(shí)現(xiàn)參數(shù)互傳，描述在cmd中調(diào)用上面的Python腳本并傳入兩個(gè)參數(shù)展開(kāi)主題，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-03-03
pycharm恢復(fù)默認(rèn)設(shè)置或者是替換pycharm的解釋器實(shí)例
今天小編就為大家分享一篇pycharm恢復(fù)默認(rèn)設(shè)置或者是替換pycharm的解釋器實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
這篇文章主要介紹了python排序方法,實(shí)例分析了Python實(shí)現(xiàn)默認(rèn)排序、降序排序及按照key值排序的相關(guān)技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-04-04
python如何寫(xiě)入dbf文件內(nèi)容及創(chuàng)建dbf文件
這篇文章主要介紹了python如何寫(xiě)入dbf文件內(nèi)容及創(chuàng)建dbf文件,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
總結(jié)Python函數(shù)參數(shù)的六種類(lèi)型
這篇文章主要總結(jié)了Python函數(shù)參數(shù)的六種類(lèi)型，傳遞參數(shù)實(shí)現(xiàn)不同場(chǎng)景的靈活使用，下面總結(jié)的六種函數(shù)參數(shù)類(lèi)型，需要的小伙伴可以參考一下2022-03-03
詳解Python實(shí)現(xiàn)按任意鍵繼續(xù)/退出的功能
在學(xué)Python時(shí)在總想實(shí)現(xiàn)一個(gè)按任意鍵繼續(xù)/退出的程序(受.bat毒害), 奈何一直沒(méi)有寫(xiě)，今天抽時(shí)間寫(xiě)出來(lái)了，下面分享給大家，有需要的可以參考借鑒。2016-08-08
這篇文章主要介紹了在Pandas中更改DataFrame中的值方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
python opencv鼠標(biāo)事件實(shí)現(xiàn)畫(huà)框圈定目標(biāo)獲取坐標(biāo)信息
這篇文章主要為大家詳細(xì)介紹了python opencv鼠標(biāo)事件實(shí)現(xiàn)畫(huà)框圈定目標(biāo)，獲取坐標(biāo)信息，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-08-08