如何將PySpark導入Python的放實現(xiàn)(2種)
方法一
使用findspark
使用pip安裝findspark：
pip install findspark
在py文件中引入findspark：
>>> import findspark >>> findspark.init()
導入你要使用的pyspark庫
>>> from pyspark import *
優(yōu)點：簡單快捷
缺點：治標不治本，每次寫一個新的Application都要加載一遍findspark
方法二
把預編譯包中的Python庫文件添加到Python的環(huán)境變量中
export SPARK_HOME=你的PySpark目錄 export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
優(yōu)點：一勞永逸
缺點：對于小白可能不太了解環(huán)境變量是什么
問題1、ImportError: No module named pyspark
現(xiàn)象：
- 已經(jīng)安裝配置好了PySpark，可以打開PySpark交互式界面；
- 在Python里找不到pysaprk。
參照上面解決
問題2、ImportError: No module named ‘py4j'
現(xiàn)象：
已經(jīng)安裝配置好了PySpark，可以打開PySpark交互式界面；
按照上面的b方式配置后出現(xiàn)該問題。
解決方法：
把py4j添加到Python的環(huán)境變量中
export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意：這里的py4j-x.xx-src.zip根據(jù)自己電腦上的py4j版本決定。
測試成功的環(huán)境
- Python: 3.7、2.7
- PySpark: 1.6.2 - 預編譯包
- OS: Mac OSX 10.11.1
參考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?
到此這篇關于如何將PySpark導入Python的放實現(xiàn)(2種)的文章就介紹到這了,更多相關PySpark導入Python內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Ubuntu下python3.8的安裝與卸載，本文以在 Ubuntu 16.04 中安裝為例，方法同樣適用于 Ubuntu 18.04,需要的朋友可以參考下2021-09-09
django數(shù)據(jù)模型（Model）的字段類型解析
這篇文章主要介紹了django數(shù)據(jù)模型（Model）的字段類型,文中給大家提到了django數(shù)據(jù)模型on_delete, db_constraint的使用,需要的朋友可以參考下2019-12-12
Jmeter通過OS進程取樣器調(diào)用Python腳本實現(xiàn)參數(shù)互傳
這篇文章主要介紹了Jmeter通過OS進程取樣器調(diào)用Python腳本實現(xiàn)參數(shù)互傳，描述在cmd中調(diào)用上面的Python腳本并傳入兩個參數(shù)展開主題，具有一定的參考價值，需要的小伙伴可以參考一下2022-03-03
pycharm恢復默認設置或者是替換pycharm的解釋器實例
今天小編就為大家分享一篇pycharm恢復默認設置或者是替換pycharm的解釋器實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了python排序方法,實例分析了Python實現(xiàn)默認排序、降序排序及按照key值排序的相關技巧,非常簡單實用,需要的朋友可以參考下2015-04-04
python如何寫入dbf文件內(nèi)容及創(chuàng)建dbf文件
這篇文章主要介紹了python如何寫入dbf文件內(nèi)容及創(chuàng)建dbf文件,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
總結(jié)Python函數(shù)參數(shù)的六種類型
這篇文章主要總結(jié)了Python函數(shù)參數(shù)的六種類型，傳遞參數(shù)實現(xiàn)不同場景的靈活使用，下面總結(jié)的六種函數(shù)參數(shù)類型，需要的小伙伴可以參考一下2022-03-03
詳解Python實現(xiàn)按任意鍵繼續(xù)/退出的功能
在學Python時在總想實現(xiàn)一個按任意鍵繼續(xù)/退出的程序(受.bat毒害), 奈何一直沒有寫，今天抽時間寫出來了，下面分享給大家，有需要的可以參考借鑒。2016-08-08
這篇文章主要介紹了在Pandas中更改DataFrame中的值方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
python opencv鼠標事件實現(xiàn)畫框圈定目標獲取坐標信息
這篇文章主要為大家詳細介紹了python opencv鼠標事件實現(xiàn)畫框圈定目標，獲取坐標信息，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08