欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何將PySpark導入Python的放實現(xiàn)(2種)

 更新時間:2020年04月26日 15:00:49   作者:Lauhoman  
這篇文章主要介紹了如何將PySpark導入Python的放實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

方法一

使用findspark

使用pip安裝findspark:

pip install findspark

在py文件中引入findspark:

>>> import findspark
>>> findspark.init()

導入你要使用的pyspark庫

>>> from pyspark import *

優(yōu)點:簡單快捷
缺點:治標不治本,每次寫一個新的Application都要加載一遍findspark

方法二

把預編譯包中的Python庫文件添加到Python的環(huán)境變量中

export SPARK_HOME=你的PySpark目錄
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

優(yōu)點:一勞永逸
缺點:對于小白可能不太了解環(huán)境變量是什么

問題1、ImportError: No module named pyspark

現(xiàn)象:

  • 已經(jīng)安裝配置好了PySpark,可以打開PySpark交互式界面;
  • 在Python里找不到pysaprk。

參照上面解決

問題2、ImportError: No module named ‘py4j'

現(xiàn)象:

已經(jīng)安裝配置好了PySpark,可以打開PySpark交互式界面;
按照上面的b方式配置后出現(xiàn)該問題。
解決方法:

把py4j添加到Python的環(huán)境變量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意:這里的py4j-x.xx-src.zip根據(jù)自己電腦上的py4j版本決定。

測試成功的環(huán)境

  • Python: 3.7、2.7
  • PySpark: 1.6.2 - 預編譯包
  • OS: Mac OSX 10.11.1

參考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此這篇關(guān)于如何將PySpark導入Python的放實現(xiàn)(2種)的文章就介紹到這了,更多相關(guān)PySpark導入Python內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評論