如何將PySpark導入Python的放實現(xiàn)(2種)
方法一
使用findspark
使用pip安裝findspark:
pip install findspark
在py文件中引入findspark:
>>> import findspark >>> findspark.init()
導入你要使用的pyspark庫
>>> from pyspark import *
優(yōu)點:簡單快捷
缺點:治標不治本,每次寫一個新的Application都要加載一遍findspark
方法二
把預編譯包中的Python庫文件添加到Python的環(huán)境變量中
export SPARK_HOME=你的PySpark目錄 export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
優(yōu)點:一勞永逸
缺點:對于小白可能不太了解環(huán)境變量是什么
問題1、ImportError: No module named pyspark
現(xiàn)象:
- 已經(jīng)安裝配置好了PySpark,可以打開PySpark交互式界面;
- 在Python里找不到pysaprk。
參照上面解決
問題2、ImportError: No module named ‘py4j'
現(xiàn)象:
已經(jīng)安裝配置好了PySpark,可以打開PySpark交互式界面;
按照上面的b方式配置后出現(xiàn)該問題。
解決方法:
把py4j添加到Python的環(huán)境變量中
export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意:這里的py4j-x.xx-src.zip根據(jù)自己電腦上的py4j版本決定。
測試成功的環(huán)境
- Python: 3.7、2.7
- PySpark: 1.6.2 - 預編譯包
- OS: Mac OSX 10.11.1
參考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?
到此這篇關(guān)于如何將PySpark導入Python的放實現(xiàn)(2種)的文章就介紹到這了,更多相關(guān)PySpark導入Python內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
django數(shù)據(jù)模型(Model)的字段類型解析
這篇文章主要介紹了django數(shù)據(jù)模型(Model)的字段類型,文中給大家提到了django數(shù)據(jù)模型on_delete, db_constraint的使用,需要的朋友可以參考下2019-12-12Jmeter通過OS進程取樣器調(diào)用Python腳本實現(xiàn)參數(shù)互傳
這篇文章主要介紹了Jmeter通過OS進程取樣器調(diào)用Python腳本實現(xiàn)參數(shù)互傳,描述在cmd中調(diào)用上面的Python腳本并傳入兩個參數(shù)展開主題,具有一定的參考價值,需要的小伙伴可以參考一下2022-03-03pycharm恢復默認設置或者是替換pycharm的解釋器實例
今天小編就為大家分享一篇pycharm恢復默認設置或者是替換pycharm的解釋器實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10python如何寫入dbf文件內(nèi)容及創(chuàng)建dbf文件
這篇文章主要介紹了python如何寫入dbf文件內(nèi)容及創(chuàng)建dbf文件,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08總結(jié)Python函數(shù)參數(shù)的六種類型
這篇文章主要總結(jié)了Python函數(shù)參數(shù)的六種類型,傳遞參數(shù)實現(xiàn)不同場景的靈活使用,下面總結(jié)的六種函數(shù)參數(shù)類型,需要的小伙伴可以參考一下2022-03-03詳解Python實現(xiàn)按任意鍵繼續(xù)/退出的功能
在學Python時在總想實現(xiàn)一個按任意鍵繼續(xù)/退出的程序(受.bat毒害), 奈何一直沒有寫,今天抽時間寫出來了,下面分享給大家,有需要的可以參考借鑒。2016-08-08python opencv鼠標事件實現(xiàn)畫框圈定目標獲取坐標信息
這篇文章主要為大家詳細介紹了python opencv鼠標事件實現(xiàn)畫框圈定目標,獲取坐標信息,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-08-08