基于idea操作hbase數據庫并映射到hive表
更新時間：2023年03月17日 10:18:14 作者：思達滴
這篇文章主要介紹了用idea操作hbase數據庫，并映射到hive,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
依賴條件：需要有Hadoop，hive，zookeeper，hbase環(huán)境
映射：每一個在 Hive 表中的域都存在于 HBase 中，而在 Hive 表中不需要包含所有HBase 中的列。HBase 中的 RowKey 對應到 Hive 中為選擇一個域使用 :key 來對應，列族(cf:)映射到 Hive 中的其它所有域，列為(cf:cq)
配置映射環(huán)境
一：先關閉所有服務
[root@siwen ~]# stop-hbase.sh -----關閉hbase
[root@siwen ~]# zkServer.sh stop -----關閉zookeeper
[root@siwen ~]# stop-alll.sh -----關閉hadoop
二：配置文件
1，修改host文件：
C:\Windows\System32\drivers\etc在此目錄下的hosts文件把此機器的ip和hostname加入進去
2，修改hive-site.xml
[root@siwen ~]# cd /opt/soft/hive312/conf/
[root@siwen conf]# vim ./hive-site.xml
加入下面幾行
<property>
<name>hive.zookeeper.quorum</name>
<value>192.168.255.159</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.255.159</value>
</property>
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value>
</property>3，拷貝jar包
①將hbase235/lib目錄下所有的jar包都拷貝到hive下面
[root@siwen conf]# cp /opt/soft/hbase235/lib/* /opt/soft/hive312/lib/
是否覆蓋內容的時候，可以輸入n，不覆蓋；或者覆蓋了也沒問題
②統一guava文件
[root@siwen lib]# find ../lib/guava* -------查看所有的guava文件
[root@siwen lib]# rm -rf ../lib/guava-11.0.2.jar -------刪除11版本的
[root@siwen conf]# cd /opt/soft/hbase235/lib/
[root@siwen lib]# pwd
/opt/soft/hbase235/lib
[root@siwen lib]# cp /opt/soft/hive312/lib/guava-27.0-jre.jar ./ -----把hive的guava文件拷貝給hbase
三：啟動服務
#啟動hadoop [root@siwen lib]# start-all.sh #啟動zookeeper [root@siwen lib]# zkServer.sh start #啟動hbase [root@siwen lib]# start-hbase.sh #啟動hive [root@siwen lib]# nohup hive --service metastore & [root@siwen lib]# nohup hive --service hiveserver2 &
開始使用idea創(chuàng)建maven工程
在pom.xml 里面添加依賴
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.3.5</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>2.3.5</version>
</dependency>1，編寫初始化方法：配置hbase信息，連接數據庫
//定義一個config，用于獲取配置對象
static Configuration config = null;
//獲取連接
private Connection conn = null;
Admin admin = null;
@Before
public void init() throws IOException {
//配置hbase信息，連接hbase數據庫
config = HBaseConfiguration.create();
config.set(HConstants.HBASE_DIR, "hdfs://192.168.255.159:9000/hbase");
config.set(HConstants.ZOOKEEPER_QUORUM, "192.168.255.159");
config.set(HConstants.CLIENT_PORT_STR, "2181");
//hbase連接工廠
conn = ConnectionFactory.createConnection(config);
//拿到admin
admin = conn.getAdmin();
}2，編寫關閉方法
@After
public void close() throws IOException {
System.out.println("執(zhí)行close()方法");
if (admin!=null)
admin.close();
if (conn!=null)
conn.close();
}3，編寫創(chuàng)建命名空間方法
@Test
public void createNameSpace() throws IOException {
NamespaceDescriptor bigdata = NamespaceDescriptor.create("bigdata").build();
#執(zhí)行創(chuàng)建對象
admin.createNamespace(bigdata);
}4，編寫創(chuàng)建表的方法
@Test
public void createTable() throws IOException {
//創(chuàng)建表的描述類
TableName tableName = TableName.valueOf("bigdata:student");
//獲取表格描述器
HTableDescriptor desc = new HTableDescriptor(tableName);
//創(chuàng)建列族的描述，添加列族
HColumnDescriptor family1 = new HColumnDescriptor("info1");
HColumnDescriptor family2 = new HColumnDescriptor("info2");
desc.addFamily(family1);
desc.addFamily(family2);
admin.createTable(desc);*/5，編寫查看表結構的方法
@Test
public void getAllNamespace() throws IOException {
List<TableDescriptor> tableDesc = admin.listTableDescriptorsByNamespace("bigdata".getBytes());
System.out.println(tableDesc.toString());
}6，編寫插入數據方法
@Test
public void insertData() throws IOException {
//獲取表的信息
Table table = conn.getTable(TableName.valueOf("bigdata:student"));
//設置行鍵
Put put = new Put(Bytes.toBytes("student1"));
//設置列的標識以及列值
put.addColumn("info1".getBytes(), "name".getBytes(), "zs".getBytes());
put.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
//執(zhí)行添加
table.put(put);
//使用集合添加數據
Put put2 = new Put(Bytes.toBytes("student2"));
put2.addColumn("info1".getBytes(), "name".getBytes(), "zss".getBytes());
put2.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
Put put3 = new Put(Bytes.toBytes("student3"));
put3.addColumn("info1".getBytes(), "name".getBytes(), "zsr".getBytes());
put3.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
List<Put> list = new ArrayList<>();
list.add(put2);
list.add(put3);
table.put(list);
}7，編寫查詢指定數據的方法
#查詢student1的信息
@Test
public void queryData() throws IOException {
Table table = conn.getTable(TableName.valueOf("bigdata:student"));
Get get = new Get(Bytes.toBytes("student1"));
Result result = table.get(get);
byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
System.out.println("姓名："+Bytes.toString(value));
value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
System.out.println("學校："+Bytes.toString(value));
}
8，編寫掃描數據的方法（所有數據）
@Test
public void scanData() throws IOException {
Table table = conn.getTable(TableName.valueOf("kb21:student"));
Scan scan = new Scan();
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
System.out.println("姓名："+Bytes.toString(value));
value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
System.out.println("學校："+Bytes.toString(value));
System.out.println(Bytes.toString(result.getRow()));
}
}
9，編寫刪除表的方法
@Test
public void deleteTable() throws IOException {
//先禁用
admin.disableTable(TableName.valueOf("bigdata:student"));
//再刪除
admin.deleteTable(TableName.valueOf("bigdata:student"));
}創(chuàng)建外部表
---------主要外部表的字段需要和Hbase中的列形成映射
create external table student(
id string,
name string,
school string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with
serdeproperties ("hbase.columns.mapping"=":key,info1:name,info2:school")
tblproperties ("hbase.table.name"="bigdata:student");select * from student
到此這篇關于用idea操作hbase數據庫，并映射到hive的文章就介紹到這了,更多相關idea操作hbase數據庫內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
動態(tài)代理是基于接口實現的代理,mybatis就是用這個技術實現的,下面這篇文章主要給大家介紹了關于java中動態(tài)代理如何實現的相關資料,需要的朋友可以參考下2024-01-01
這篇文章主要介紹了java連接ElasticSearch集群操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-09-09
在日常開發(fā)中，如果要操作數據庫的話，或多或少都會遇到批量數據的處理，本文主要介紹了Mybatis批量插入的三種實現方法，感興趣的可以了解一下2023-10-10
本篇文章主要介紹了Spring聲明式事務和@Aspect的攔截順序問題的解決，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
在SpringBoot環(huán)境中使用Mockito進行單元測試的示例詳解
Mockito是一個流行的Java?mocking框架,它允許開發(fā)者以簡單直觀的方式創(chuàng)建和使用模擬對象（mocks）,Mockito特別適用于在Spring?Boot環(huán)境中進行單元測試,所以本文介紹了在SpringBoot環(huán)境中使用Mockito進行單元測試的示例,需要的朋友可以參考下2024-11-11
本文主要介紹了SpringBoot實現Md5對數據庫數據加密的示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04
Java springboot項目jar發(fā)布過程解析
這篇文章主要介紹了Java springboot項目jar發(fā)布過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-09-09
JAVA加密算法- 非對稱加密算法（DH，RSA）的詳細介紹
這篇文章主要介紹了JAVA加密算法- 非對稱加密算法（DH，RSA），詳細介紹了DH，RSA的用法和示例，需要的朋友可以了解一下。2016-11-11
這篇文章主要給大家介紹了關于Java中如何正確定義字符串的相關資料,在Java中定義一個字符串最簡單的方法是用雙引號把它包圍起來,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-10-10
Vector?類實現了一個動態(tài)數組。和?ArrayList?很相似，但是兩者是不同的：Vector?是同步訪問的；Vector?包含了許多傳統的方法，這些方法不屬于集合框架2022-03-03