Hive導(dǎo)入csv文件示例
更新時(shí)間：2022年06月23日 14:27:36 作者：鴨梨山大哎
這篇文章主要為大家介紹了Hive導(dǎo)入csv文件示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
正文
現(xiàn)有文件為csv格式,需要導(dǎo)入hive中,設(shè)csv內(nèi)容如下
1001,zs,23 1002,lis,24
首先創(chuàng)建表
create table if not exists csv2(
uid int,
uname string,
age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;導(dǎo)入數(shù)據(jù)及查詢
load data local inpath '/data/csv2.csv' into table csv2; select * from csv2;
其他注意事項(xiàng)
如果建表是parquet格式可否load導(dǎo)入csv文件?
drop table csv2;
create table if not exists csv2(
uid int,
uname string,
age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;
load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;使用時(shí)會(huì)報(bào)錯(cuò)
Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]
**不可以,需要先導(dǎo)入成textfile,之后再從臨時(shí)表導(dǎo)入成parquet,**如下
drop table csv2;
create table if not exists csv2
(
uid int,
uname string,
age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile;
-- 先導(dǎo)入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;
drop table csv3;
-- 創(chuàng)建csv3,保存格式parquet
create table if not exists csv3
(
uid int,
uname string,
age int
)
row format delimited
fields terminated by ','
stored as parquet;
-- 提取csv2的數(shù)據(jù)插入到csv3
insert overwrite table csv3 select * from csv2;總結(jié)
- 關(guān)鍵是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
csv要保存到hive的parquet,需要先保存成textfile
以上就是Hive導(dǎo)入csv文件示例的詳細(xì)內(nèi)容，更多關(guān)于Hive導(dǎo)入csv文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
MySQL有很多可以導(dǎo)入數(shù)據(jù)的方法，然而這些只是數(shù)據(jù)傳輸中的一半，另外的一般是從MySQL數(shù)據(jù)庫中導(dǎo)出數(shù)據(jù)。有許多的原因我們需要導(dǎo)出數(shù)據(jù)。一個(gè)重要的原因是用于備份數(shù)據(jù)庫。數(shù)據(jù)的造價(jià)常常是昂貴的，需要謹(jǐn)慎處理它們。2006-12-12
新推出的金融版eXtremeDB 6.0功能改進(jìn)預(yù)覽
這篇文章主要介紹了新推出的金融版eXtremeDB 6.0功能改進(jìn)預(yù)覽,如運(yùn)用SQL, Python實(shí)現(xiàn)的基于矢量的統(tǒng)計(jì)功能、分布式的查詢處理、市場數(shù)據(jù)壓縮等內(nèi)容,需要的朋友可以參考下2014-10-10
這篇文章詳細(xì)介紹了的PostgreSQL中的全文搜索的用法,包括對(duì)全文搜索的一些優(yōu)化的實(shí)現(xiàn),需要的朋友可以參考下2015-04-04
利用SQL腳本導(dǎo)入數(shù)據(jù)到不同數(shù)據(jù)庫避免重復(fù)的3種方法
這篇文章主要給大家介紹了關(guān)于利用SQL腳本導(dǎo)入數(shù)據(jù)到不同數(shù)據(jù)庫避免重復(fù)的3種方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-10-10
這篇文章主要給大家介紹了關(guān)于SQL WHERE IN參數(shù)化編譯寫法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用SQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
SQL Injection是一種常見的Web安全漏洞,主要形成的原因是在數(shù)據(jù)交互中,下面這篇文章主要給大家介紹了關(guān)于SQL注入的四種防御方法,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
SQL知識(shí)點(diǎn)之列轉(zhuǎn)行Unpivot函數(shù)
這篇文章主要給大家介紹了關(guān)于SQL知識(shí)點(diǎn)之列轉(zhuǎn)行Unpivot函數(shù)的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用SQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
這篇文章主要介紹了SQLite快速入門指南,作為開源的嵌入式數(shù)據(jù)庫,SQLite可以在不需要過多投入數(shù)據(jù)庫開發(fā)時(shí)提供十分輕便的服務(wù),需要的朋友可以參考下2015-07-07
數(shù)據(jù)庫 關(guān)系連接，多表查詢時(shí)需要用到的一些東西。2009-09-09
SQL注入篇學(xué)習(xí)之盲注/寬字節(jié)注入
盲注是注入的一種,指的是在不知道數(shù)據(jù)庫返回值的情況下對(duì)數(shù)據(jù)中的內(nèi)容進(jìn)行猜測(cè),實(shí)施SQL注入,下面這篇文章主要給大家介紹了關(guān)于SQL注入篇之盲注/寬字節(jié)注入的相關(guān)資料,需要的朋友可以參考下2022-03-03