pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉換實例
更新時間：2018年08月02日 11:10:51 作者：birdlove1987
今天小編就為大家分享一篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
代碼如下，步驟流程在代碼注釋中可見：
# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
#初始化數(shù)據(jù)
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
#打印數(shù)據(jù)
print df
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
spark = SparkSession\
.builder\
.appName("testDataFrame")\
.getOrCreate()
sentenceData = spark.createDataFrame([
(0.0, "I like Spark"),
(1.0, "Pandas is useful"),
(2.0, "They are coded by Python ")
], ["label", "sentence"])
#顯示數(shù)據(jù)
sentenceData.select("label").show()
#spark.DataFrame 轉換成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
#顯示數(shù)據(jù)
spark_df.select("c1").show()
# pandas.DataFrame 轉換成 spark.DataFrame
pandas_df = sentenceData.toPandas()
#打印數(shù)據(jù)
print pandas_df
程序結果：
以上這篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉換實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python提供了豐富的日期和時間處理函數(shù),可以幫助你輕松地解析、格式化、計算和操作日期和時間,在實際應用中,根據(jù)具體需求選擇合適的函數(shù),可以提高工作效率并簡化代碼,本文給大家介紹python多種日期時間處理函數(shù)介紹,感興趣的朋友一起看看吧2024-03-03
Kmeans聚類算法python sklearn用戶畫像教程
這篇文章主要介紹了Kmeans聚類算法python sklearn用戶畫像教程，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-07-07
python實現(xiàn)將文件名批量命名為四位數(shù)or五位數(shù)
這篇文章主要介紹了python實現(xiàn)將文件名批量命名為四位數(shù)or五位數(shù)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
Python光學仿真wxpython透鏡演示系統(tǒng)初始化與參數(shù)調(diào)節(jié)
這篇文章主要為大家介紹了Python光學仿真wxpython透鏡演示系統(tǒng)的初始化與參數(shù)調(diào)節(jié)，同樣在學習wxpython透鏡演示系統(tǒng)的入門同學可以借鑒參考下，希望能夠有所幫助2021-10-10
這篇文章主要介紹了Python中的字典容器,本文來自于IBM官方網(wǎng)站技術文檔,需要的朋友可以參考下2015-04-04
本篇文章主要介紹了Python3安裝Scrapy的方法步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了Python中的多線程使用，包括創(chuàng)建線程、線程同步、線程間通信以及線程池等基本概念和技巧，文中的示例代碼講解詳細，需要的可以參考一下2023-07-07
這篇文章主要給大家介紹了關于我是如何學習Python中的列表的，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-06-06
今天小編就為大家分享一篇python 查找文件名包含指定字符串的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要為大家介紹了python密碼學列置換密碼學習的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05