欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法

 更新時(shí)間：2018年06月07日 08:51:39   作者：birdlove1987  
今天小編就為大家分享一篇spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

DataFrame是一個(gè)組織成命名列的數(shù)據(jù)集。它在概念上等同于關(guān)系數(shù)據(jù)庫(kù)中的表或R/Python中的數(shù)據(jù)框架，但其經(jīng)過(guò)了優(yōu)化。DataFrames可以從各種各樣的源構(gòu)建，例如：結(jié)構(gòu)化數(shù)據(jù)文件，Hive中的表，外部數(shù)據(jù)庫(kù)或現(xiàn)有RDD。

DataFrame API 可以被Scala，Java，Python和R調(diào)用。

在Scala和Java中，DataFrame由Rows的數(shù)據(jù)集表示。

在Scala API中，DataFrame只是一個(gè)類型別名Dataset[Row]。而在Java API中，用戶需要Dataset<Row>用來(lái)表示DataFrame。

在本文檔中，我們經(jīng)常將Scala/Java數(shù)據(jù)集Row稱為DataFrames。

那么DataFrame和spark核心數(shù)據(jù)結(jié)構(gòu)RDD之間怎么進(jìn)行轉(zhuǎn)換呢？

代碼如下：

# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row

if __name__ == "__main__":
 # 初始化SparkSession
 spark = SparkSession \
 .builder \
 .appName("RDD_and_DataFrame") \
 .config("spark.some.config.option", "some-value") \
 .getOrCreate()

 sc = spark.sparkContext

 lines = sc.textFile("employee.txt")
 parts = lines.map(lambda l: l.split(","))
 employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))

 #RDD轉(zhuǎn)換成DataFrame
 employee_temp = spark.createDataFrame(employee)

 #顯示DataFrame數(shù)據(jù)
 employee_temp.show()

 #創(chuàng)建視圖
 employee_temp.createOrReplaceTempView("employee")
 #過(guò)濾數(shù)據(jù)
 employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")

 # DataFrame轉(zhuǎn)換成RDD
 result = employee_result.rdd.map(lambda p: "name: " + p.name + " salary: " + str(p.salary)).collect()

 #打印RDD數(shù)據(jù)
 for n in result:
 print(n)

以上這篇spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論