java實現(xiàn)往hive 的map類型字段寫數(shù)據(jù)
往hive 的map類型字段寫數(shù)據(jù)
該表的該字段類型是map<string,string>
對應(yīng)類的該屬性的類型需要定義成String，不可定義成Map<String,String> ??！
方法1：
建表語句定義map的分隔符：
row format delimited fields terminated by '|' collection items terminated by ',' map keys terminated by ':' NULL DEFINED AS ''
然后在java中封裝好map后，不可直接把map.toString()的字符串寫入字段（會有“=”，不能正確組成JSON格式的內(nèi)容），也不可序列化為JSON格式的字符串后寫入字段（會加很多“\”）！需要自己定義toString的方法：
public static String insertToMap(Map<String, String> map) {
StringBuilder sb = new StringBuilder();
Set<String> set = map.keySet();
for (String s : set) {
sb.append(s).append(":").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append(",");
}
String str = sb.toString();
return str.substring(0, str.length() - 1);
}
字符串是不帶雙引號和兩端花括號的字符串，這樣插入到字段時，hive會自動為key和value都添加雙引號，也會在兩端添加花括號?。樯稙榭諘r需要把value設(shè)置成NULL?如果為空不寫時，怕hive處理時出錯，可能會處理成帶四個雙引號的NULL，所以手動指定空為"NULL"字符串）
方法2：
建表語句不用定義map的分隔符：
然后在java中封裝好map后，不可直接把map.toString()的字符串寫入字段，也不可序列化為JSON格式的字符串后寫入字段！需要自己定義toString的方法：
public static String insertToMap(Map<String, String> map) {
StringBuilder sb = new StringBuilder();
Set<String> set = map.keySet();
for (String s : set) {
sb.append(s).append("\003").append(StringUtils.isBlank(map.get(s)) ? "NULL" : map.get(s)).append("\002");
}
String str = sb.toString();
return str.substring(0, str.length() - 1);
}
得到的則是正確的字段內(nèi)容！
hive中默認(rèn)是用“\003”分隔key與value,用“\002”分隔兩個鍵值對！
以上是今天嘗試好幾種方法整理后的結(jié)論！
hive-map類型字段的定義與插入
map類型定義了一種kv結(jié)構(gòu)，在hive中經(jīng)常使用。
如何定義map類型呢？
create table employee(id string, perf map<string, int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':';
其中fields是字段分隔符，collection是每個kv對的分隔符，map keys是k與v的分隔符。
導(dǎo)入數(shù)據(jù)時，只需要按對應(yīng)分隔符處理好數(shù)據(jù)即可。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
SpringBoot實現(xiàn)配置文件自動加載和刷新的示例詳解
在使用Spring Boot開發(fā)應(yīng)用程序時,配置文件是非常重要的組成部分,在不同的環(huán)境中,我們可能需要使用不同的配置文件,當(dāng)我們更改配置文件時,我們希望應(yīng)用程序能夠自動加載和刷新配置文件,本文我們將探討Spring Boot如何實現(xiàn)配置文件的自動加載和刷新2023-08-08
這篇文章主要介紹了Spring中使用AOP進(jìn)行事務(wù)管理實例,當(dāng)在Spring項目中涉及數(shù)據(jù)庫操作時,事務(wù)管理是非常重要的,它可以確保數(shù)據(jù)庫操作的一致性和完整性,Spring提供了強(qiáng)大的事務(wù)管理功能,可以通過聲明式或編程式兩種方式進(jìn)行配置,需要的朋友可以參考下2023-09-09
下面小編就為大家?guī)硪黄斦凧ava泛型中T和問號(通配符)的區(qū)別。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-10-10
這篇文章主要介紹了springboot swagger不顯示接口的問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-06-06
使用Java通過OAuth協(xié)議驗證發(fā)送微博的教程
這篇文章主要介紹了使用Java通過OAuth協(xié)議驗證發(fā)送微博的教程,使用到了新浪微博為Java開放的API weibo4j,需要的朋友可以參考下2016-02-02
springboot 接收List 入?yún)⒌膸追N方法
