基于idea操作hbase數(shù)據(jù)庫(kù)并映射到hive表
依賴(lài)條件:需要有Hadoop,hive,zookeeper,hbase環(huán)境
映射:每一個(gè)在 Hive 表中的域都存在于 HBase 中,而在 Hive 表中不需要包含所有HBase 中的列。HBase 中的 RowKey 對(duì)應(yīng)到 Hive 中為選擇一個(gè)域使用 :key 來(lái)對(duì)應(yīng),列族(cf:)映射到 Hive 中的其它所有域,列為(cf:cq)
配置映射環(huán)境
一:先關(guān)閉所有服務(wù)
[root@siwen ~]# stop-hbase.sh -----關(guān)閉hbase
[root@siwen ~]# zkServer.sh stop -----關(guān)閉zookeeper
[root@siwen ~]# stop-alll.sh -----關(guān)閉hadoop
二:配置文件
1,修改host文件:
C:\Windows\System32\drivers\etc在此目錄下的hosts文件把此機(jī)器的ip和hostname加入進(jìn)去
2,修改hive-site.xml
[root@siwen ~]# cd /opt/soft/hive312/conf/
[root@siwen conf]# vim ./hive-site.xml
加入下面幾行
<property> <name>hive.zookeeper.quorum</name> <value>192.168.255.159</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>192.168.255.159</value> </property> <property> <name>hive.aux.jars.path</name> <value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value> </property>
3,拷貝jar包
①將hbase235/lib目錄下所有的jar包都拷貝到hive下面
[root@siwen conf]# cp /opt/soft/hbase235/lib/* /opt/soft/hive312/lib/
是否覆蓋內(nèi)容的時(shí)候,可以輸入n,不覆蓋;或者覆蓋了也沒(méi)問(wèn)題
②統(tǒng)一guava文件
[root@siwen lib]# find ../lib/guava* -------查看所有的guava文件
[root@siwen lib]# rm -rf ../lib/guava-11.0.2.jar -------刪除11版本的
[root@siwen conf]# cd /opt/soft/hbase235/lib/
[root@siwen lib]# pwd
/opt/soft/hbase235/lib
[root@siwen lib]# cp /opt/soft/hive312/lib/guava-27.0-jre.jar ./ -----把hive的guava文件拷貝給hbase
三:?jiǎn)?dòng)服務(wù)
#啟動(dòng)hadoop [root@siwen lib]# start-all.sh #啟動(dòng)zookeeper [root@siwen lib]# zkServer.sh start #啟動(dòng)hbase [root@siwen lib]# start-hbase.sh #啟動(dòng)hive [root@siwen lib]# nohup hive --service metastore & [root@siwen lib]# nohup hive --service hiveserver2 &
開(kāi)始使用idea創(chuàng)建maven工程
在pom.xml 里面添加依賴(lài)
<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.3.5</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.3.5</version> </dependency>
1,編寫(xiě)初始化方法:配置hbase信息,連接數(shù)據(jù)庫(kù)
//定義一個(gè)config,用于獲取配置對(duì)象 static Configuration config = null; //獲取連接 private Connection conn = null; Admin admin = null; @Before public void init() throws IOException { //配置hbase信息,連接hbase數(shù)據(jù)庫(kù) config = HBaseConfiguration.create(); config.set(HConstants.HBASE_DIR, "hdfs://192.168.255.159:9000/hbase"); config.set(HConstants.ZOOKEEPER_QUORUM, "192.168.255.159"); config.set(HConstants.CLIENT_PORT_STR, "2181"); //hbase連接工廠(chǎng) conn = ConnectionFactory.createConnection(config); //拿到admin admin = conn.getAdmin(); }
2,編寫(xiě)關(guān)閉方法
@After public void close() throws IOException { System.out.println("執(zhí)行close()方法"); if (admin!=null) admin.close(); if (conn!=null) conn.close(); }
3,編寫(xiě)創(chuàng)建命名空間方法
@Test public void createNameSpace() throws IOException { NamespaceDescriptor bigdata = NamespaceDescriptor.create("bigdata").build(); #執(zhí)行創(chuàng)建對(duì)象 admin.createNamespace(bigdata); }
4,編寫(xiě)創(chuàng)建表的方法
@Test public void createTable() throws IOException { //創(chuàng)建表的描述類(lèi) TableName tableName = TableName.valueOf("bigdata:student"); //獲取表格描述器 HTableDescriptor desc = new HTableDescriptor(tableName); //創(chuàng)建列族的描述,添加列族 HColumnDescriptor family1 = new HColumnDescriptor("info1"); HColumnDescriptor family2 = new HColumnDescriptor("info2"); desc.addFamily(family1); desc.addFamily(family2); admin.createTable(desc);*/
5,編寫(xiě)查看表結(jié)構(gòu)的方法
@Test public void getAllNamespace() throws IOException { List<TableDescriptor> tableDesc = admin.listTableDescriptorsByNamespace("bigdata".getBytes()); System.out.println(tableDesc.toString()); }
6,編寫(xiě)插入數(shù)據(jù)方法
@Test public void insertData() throws IOException { //獲取表的信息 Table table = conn.getTable(TableName.valueOf("bigdata:student")); //設(shè)置行鍵 Put put = new Put(Bytes.toBytes("student1")); //設(shè)置列的標(biāo)識(shí)以及列值 put.addColumn("info1".getBytes(), "name".getBytes(), "zs".getBytes()); put.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes()); //執(zhí)行添加 table.put(put); //使用集合添加數(shù)據(jù) Put put2 = new Put(Bytes.toBytes("student2")); put2.addColumn("info1".getBytes(), "name".getBytes(), "zss".getBytes()); put2.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes()); Put put3 = new Put(Bytes.toBytes("student3")); put3.addColumn("info1".getBytes(), "name".getBytes(), "zsr".getBytes()); put3.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes()); List<Put> list = new ArrayList<>(); list.add(put2); list.add(put3); table.put(list); }
7,編寫(xiě)查詢(xún)指定數(shù)據(jù)的方法
#查詢(xún)student1的信息 @Test public void queryData() throws IOException { Table table = conn.getTable(TableName.valueOf("bigdata:student")); Get get = new Get(Bytes.toBytes("student1")); Result result = table.get(get); byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name")); System.out.println("姓名:"+Bytes.toString(value)); value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school")); System.out.println("學(xué)校:"+Bytes.toString(value)); }
8,編寫(xiě)掃描數(shù)據(jù)的方法(所有數(shù)據(jù))
@Test public void scanData() throws IOException { Table table = conn.getTable(TableName.valueOf("kb21:student")); Scan scan = new Scan(); ResultScanner scanner = table.getScanner(scan); for (Result result : scanner) { byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name")); System.out.println("姓名:"+Bytes.toString(value)); value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school")); System.out.println("學(xué)校:"+Bytes.toString(value)); System.out.println(Bytes.toString(result.getRow())); } }
9,編寫(xiě)刪除表的方法
@Test public void deleteTable() throws IOException { //先禁用 admin.disableTable(TableName.valueOf("bigdata:student")); //再刪除 admin.deleteTable(TableName.valueOf("bigdata:student")); }
創(chuàng)建外部表
---------主要外部表的字段需要和Hbase中的列形成映射
create external table student( id string, name string, school string ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ("hbase.columns.mapping"=":key,info1:name,info2:school") tblproperties ("hbase.table.name"="bigdata:student");
select * from student
到此這篇關(guān)于用idea操作hbase數(shù)據(jù)庫(kù),并映射到hive的文章就介紹到這了,更多相關(guān)idea操作hbase數(shù)據(jù)庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
java中動(dòng)態(tài)代理如何實(shí)現(xiàn)詳解
動(dòng)態(tài)代理是基于接口實(shí)現(xiàn)的代理,mybatis就是用這個(gè)技術(shù)實(shí)現(xiàn)的,下面這篇文章主要給大家介紹了關(guān)于java中動(dòng)態(tài)代理如何實(shí)現(xiàn)的相關(guān)資料,需要的朋友可以參考下2024-01-01Spring聲明式事務(wù)和@Aspect的攔截順序問(wèn)題的解決
本篇文章主要介紹了Spring聲明式事務(wù)和@Aspect的攔截順序問(wèn)題的解決,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-05-05在SpringBoot環(huán)境中使用Mockito進(jìn)行單元測(cè)試的示例詳解
Mockito是一個(gè)流行的Java?mocking框架,它允許開(kāi)發(fā)者以簡(jiǎn)單直觀的方式創(chuàng)建和使用模擬對(duì)象(mocks),Mockito特別適用于在Spring?Boot環(huán)境中進(jìn)行單元測(cè)試,所以本文介紹了在SpringBoot環(huán)境中使用Mockito進(jìn)行單元測(cè)試的示例,需要的朋友可以參考下2024-11-11SpringBoot實(shí)現(xiàn)Md5對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)加密的示例
本文主要介紹了SpringBoot實(shí)現(xiàn)Md5對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)加密的示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04Java springboot項(xiàng)目jar發(fā)布過(guò)程解析
這篇文章主要介紹了Java springboot項(xiàng)目jar發(fā)布過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09JAVA加密算法- 非對(duì)稱(chēng)加密算法(DH,RSA)的詳細(xì)介紹
這篇文章主要介紹了JAVA加密算法- 非對(duì)稱(chēng)加密算法(DH,RSA),詳細(xì)介紹了DH,RSA的用法和示例,需要的朋友可以了解一下。2016-11-11