欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

pandas和spark dataframe互相轉換實例詳解

 更新時間：2020年02月18日 08:43:34   投稿：yaominghui  
這篇文章主要介紹了pandas和spark dataframe互相轉換實例詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

這篇文章主要介紹了pandas和spark dataframe互相轉換實例詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

from pyspark.sql import SparkSession
# 初始化spark會話
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe轉pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由于pandas的方式是單機版的，即toPandas()的方式是單機版的，所以參考breeze_lsw改成分布式版本：

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df, n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

相關文章

  • Python中的數(shù)據(jù)分析詳解

    Python中的數(shù)據(jù)分析詳解

    這篇文章主要介紹了Python中的數(shù)據(jù)分析詳解,對數(shù)據(jù)進行分析，數(shù)據(jù)分析是指根據(jù)分析目的，用適當?shù)慕y(tǒng)計分析方法及工具，對收集來的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)揮數(shù)據(jù)的作用,需要的朋友可以參考下
    2023-07-07
  • ?cmd輸入python打開微軟應用商店的解決方法

    ?cmd輸入python打開微軟應用商店的解決方法

    在命令控制行中輸入python想使用Python環(huán)境,卻意外打開了微軟自帶的應用商店,十分苦惱,下面這篇文章主要給大家介紹了關于?cmd輸入python打開微軟應用商店的解決方法,需要的朋友可以參考下
    2024-03-03
  • 淺談python條件表達式:多項分支,雙向分支

    淺談python條件表達式:多項分支,雙向分支

    這篇文章主要介紹了淺談python條件表達式：多項分支，雙向分支的使用，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • postman發(fā)送文件請求并以python服務接收方式

    postman發(fā)送文件請求并以python服務接收方式

    這篇文章主要介紹了postman發(fā)送文件請求并以python服務接收方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-07-07
  • Python從Excel讀取數(shù)據(jù)并使用Matplotlib繪制成二維圖像

    Python從Excel讀取數(shù)據(jù)并使用Matplotlib繪制成二維圖像

    本課程實現(xiàn)使用 Python 從 Excel 讀取數(shù)據(jù)，并使用 Matplotlib 繪制成二維圖像。這一過程中，將通過一系列操作來美化圖像，最終得到一個可以出版級別的圖像。本課程對于需要書寫實驗報告，學位論文，發(fā)表文章，做報告的學員具有較大價值
    2023-02-02
  • python批量修改圖片后綴的方法(png到jpg)

    python批量修改圖片后綴的方法(png到jpg)

    今天小編就為大家分享一篇python批量修改圖片后綴(png到jpg)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10
  • Python編程scoketServer實現(xiàn)多線程同步實例代碼

    Python編程scoketServer實現(xiàn)多線程同步實例代碼

    這篇文章主要介紹了Python編程scoketServer實現(xiàn)多線程同步實例代碼，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下
    2018-01-01
  • python實現(xiàn)可變變量名方法詳解

    python實現(xiàn)可變變量名方法詳解

    在本篇文章里小編給大家整理了關于python實現(xiàn)可變變量名的相關知識點內容以及實例代碼，需要的朋友們參考下。
    2019-07-07
  • python?pygame實現(xiàn)打磚塊游戲

    python?pygame實現(xiàn)打磚塊游戲

    這篇文章主要為大家詳細介紹了python?pygame實現(xiàn)打磚塊游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2022-05-05
  • PyGame貪吃蛇的實現(xiàn)代碼示例

    PyGame貪吃蛇的實現(xiàn)代碼示例

    貪吃蛇是款經典游戲，本文將帶你一步步用python語言實現(xiàn)一個貪吃蛇小游戲，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-11-11

最新評論