Hive數(shù)據(jù)導(dǎo)出詳解
一、數(shù)據(jù)導(dǎo)出是什么?
hive是一個(gè)依賴Hadoop集群的數(shù)據(jù)處理平臺,我們不僅需要對數(shù)據(jù)進(jìn)行篩選處理,更需要進(jìn)行導(dǎo)出,供我們多次重復(fù)使用。
二、六大幫派
1.insert
insert有兩種形式,加local上傳到本地路徑,不加local上傳到集群
代碼如下(示例):
insert加local insert overwrite local directory '/root/export/data/student' select * from student; insert不加local(并將數(shù)據(jù)格式化) insert overwrite directory '/student' row format delimited fields terminated by ',' select * from student;
2.Hadoop命令導(dǎo)出到本地
代碼如下(示例):
hadoop dfs -get /user/hive/warehouse/hive.db/student/student.txt /root/export/data/student/
3.Hive shell命令導(dǎo)出
一個(gè) > 是覆蓋,兩個(gè)>是追加
代碼如下(示例):
bin/hive -e 'select * from hive.student' >> /root/export/data/student/student.txt
4.export導(dǎo)出到HDFS上
當(dāng)該hdfs路徑下有文件時(shí)或表存在,都不可導(dǎo),與import連用。
代碼如下(示例):
export table hive.student to '/user/hive/warehouse/hive.db/student';
5.Sqoop導(dǎo)出
將數(shù)據(jù)導(dǎo)出到window系統(tǒng)的mysql,并進(jìn)行可視化操作
6.清除表中的數(shù)據(jù)(Truncate)——刪庫跑路
Truncate只能刪除管理表,不能刪除外部表的數(shù)據(jù)(但可以將外部表轉(zhuǎn)為內(nèi)部表哦,嘿嘿嘿)只是刪除內(nèi)部表的hdfs數(shù)據(jù),元數(shù)據(jù)還在
內(nèi)部轉(zhuǎn)為外部表 alter table student set tblproperties('EXTERNAL'='TRUE')一定大寫 截?cái)啾? Truncate table student;
總結(jié)
六大派別與五大幫派共同統(tǒng)治著數(shù)碼武林,俠義精神深入人心,hive語句婦孺皆知。街頭小巷上談?wù)撝麄兊挠⑿凼论E,再一次掀起了學(xué)習(xí)hive秘籍的狂潮?;蛟S現(xiàn)在人們學(xué)習(xí)的已經(jīng)不再是傍身之計(jì),更多的是對天下武功,為快不滅的熱愛。有人的地方就會就有江湖,大數(shù)據(jù)時(shí)代亦是如此。
到此這篇關(guān)于Hive數(shù)據(jù)導(dǎo)出詳解的文章就介紹到這了,更多相關(guān)Hive數(shù)據(jù)導(dǎo)出內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Navicat?premium?for?mac?12的安裝破解圖文教程
Navicat Premium是一款數(shù)據(jù)庫管理工具,將此工具連接數(shù)據(jù)庫,你可以從中看到各種數(shù)據(jù)庫的詳細(xì)信息,這篇文章主要介紹了Mac下Navicat?premium?for?mac?12的安裝破解過程,需要的朋友可以參考下2024-01-01MySQL與Redis如何保證數(shù)據(jù)一致性詳解
在高并發(fā)的業(yè)務(wù)場景下數(shù)據(jù)庫大多數(shù)情況都是用戶并發(fā)訪問最薄弱的環(huán)節(jié),所以就需要使用redis做一個(gè)緩沖操作,讓請求先訪問到redis,而不直接訪問Mysql等數(shù)據(jù)庫,這篇文章主要給大家介紹了關(guān)于MySQL與Redis如何保證數(shù)據(jù)一致性的相關(guān)資料,需要的朋友可以參考下2021-08-08大數(shù)據(jù)量,海量數(shù)據(jù)處理方法總結(jié)
大數(shù)據(jù)量的問題是很多面試筆試中經(jīng)常出現(xiàn)的問題,比如baidu google 騰訊這樣的一些涉及到海量數(shù)據(jù)的公司經(jīng)常會問到。2010-11-11使用Navicat導(dǎo)入和導(dǎo)出sql語句的圖文教程
Navicat是MySQL非常好用的可視化管理工具,功能非常強(qiáng)大,能滿足我們?nèi)粘?shù)據(jù)庫開發(fā)的所有需求,下面這篇文章主要給大家介紹了關(guān)于使用Navicat導(dǎo)入和導(dǎo)出sql語句的相關(guān)資料,需要的朋友可以參考下2023-03-03