欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

大數(shù)據(jù) java hive udf函數(shù)的示例代碼(手機號碼脫敏)

 更新時間:2020年06月20日 13:14:21   作者:weixin_41734687  
這篇文章主要介紹了大數(shù)據(jù) java hive udf函數(shù)(手機號碼脫敏),的相關(guān)知識,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下

Hive UDFHive UDF 函數(shù)1 POM 文件2.UDF 函數(shù)3 利用idea打包4 添加hive udf函數(shù)4.1 上傳jar包到集群4.2 修改集群hdfs文件權(quán)限4.3 注冊UDF4.4 使用UDF

Hive UDF 函數(shù)

1 POM 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
 <modelVersion>4.0.0</modelVersion>

 <groupId>填寫自己的組織名稱</groupId>
 <artifactId>udf</artifactId>
 <version>1.0-SNAPSHOT</version>
 <properties>
  <project.build.sourceEncoding>UTF8</project.build.sourceEncoding>
  <!--Hadoop版本更改成自己的版本-->
  <hadoop.version>2.6.0-cdh5.13.3</hadoop.version>
  <hive.version>1.1.0-cdh5.13.3</hive.version>
 </properties>

 <repositories>
  <!--加入Hadoop原生態(tài)的maven倉庫的地址-->
  <repository>
   <id>Apache Hadoop</id>
   <name>Apache Hadoop</name>
   <url>https://repo1.maven.org/maven2/</url>
  </repository>
  <!--加入cdh的maven倉庫的地址-->
  <repository>
   <id>cloudera</id>
   <name>cloudera</name>
   <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  </repository>
 </repositories>

 <dependencies>
  <!--添加hadoop依賴-->
  <dependency>
   <groupId>org.apache.hadoop</groupId>
   <artifactId>hadoop-common</artifactId>
   <version>${hadoop.version}</version>
  </dependency>
  <!--添加hive依賴-->
  <dependency>
   <groupId>org.apache.hive</groupId>
   <artifactId>hive-exec</artifactId>
   <version>${hive.version}</version>
  </dependency>
 </dependencies>

 <build>
  <plugins>
   <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <configuration>
     <source>1.8</source>
     <target>1.8</target>
    </configuration>
   </plugin>
   <plugin>
    <artifactId>maven-assembly-plugin</artifactId>
    <configuration>
     <!--這部分可有可無,加上的話則直接生成可運行jar包-->
     <!--<archive>-->
      <!--<manifest>-->
       <!--<mainClass>填寫自己的組織名稱.PhoneUnlookUdf</mainClass>-->
      <!--</manifest>-->
     <!--</archive>-->
     <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
     </descriptorRefs>
    </configuration>
    <executions>
     <execution>
      <id>make-assembly</id>
      <phase>package</phase>
      <goals>
       <goal>single</goal>
      </goals>
     </execution>
    </executions>
   </plugin>
  </plugins>
 </build>

</project>

2.UDF 函數(shù)

package 填寫自己的組織名稱;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;

// 上傳udf jar到集群 hdfs dfs -put udf-1.0-SNAPSHOT-jar-with-dependencies.jar /data/data_coe/data_asset/prod/db/tmp/udf/
// 修改文件權(quán)限 hdfs dfs -chmod -R 777 hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/
//注冊udf函數(shù) create function tmp.pul as '填寫自己的組織名稱.PhoneUnlookUdf' using jar 'hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/udf-1.0-SNAPSHOT-jar-with-dependencies.jar

public class PhoneUnlookUdf extends UDF {
//重寫evaluate方法
 public String evaluate(String phone){
  if (phone.length() == 11){
   String res = phone.substring(0, 3) + "****" + phone.substring(7, phone.length());
   System.out.println(res);
   return res;
  } else {
   return phone;
  }

 }
}

3 利用idea打包

先點clean,在點package

idea打包

4 添加hive udf函數(shù)

集群的某些問題,不能直接通過添加服務器上本地文件到hive增加udf;需要將文件上傳到hdfs,然后定義udf函數(shù)。

4.1 上傳jar包到集群

// 上傳udf jar到集群 hdfs dfs -put udf-1.0-SNAPSHOT-jar-with-dependencies.jar /data/data_coe/data_asset/prod/db/tmp/udf/

4.2 修改集群hdfs文件權(quán)限

// 修改文件權(quán)限 hdfs dfs -chmod -R 777 hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/

4.3 注冊UDF

 //注冊udf函數(shù) create function tmp.pul as 'cn.mcd.com.PhoneUnlookUdf' using jar 'hdfs://idc-nn/data/data_coe/data_asset/prod/db/tmp/udf/udf-1.0-SNAPSHOT-jar-with-dependencies.jar

4.4 使用UDF

···
打開集群hive客戶端:
select tmp.pul(phone) from tmp.tmp_order limit 3;
···

總結(jié)

到此這篇關(guān)于大數(shù)據(jù) java hive udf函數(shù)(手機號碼脫敏)的文章就介紹到這了,更多相關(guān)大數(shù)據(jù)hive udf函數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • SpringBoot整合SpringSecurity實現(xiàn)認證攔截的教程

    SpringBoot整合SpringSecurity實現(xiàn)認證攔截的教程

    我們寫的任何一個項目,都應該有安全防護,不應該讓這個項目進行“裸奔”,否則很容易被別人進行攻擊。而在SpringBoot環(huán)境中,其實可以很容易實現(xiàn)安全保護,本文給大家介紹SpringBoot如何整合SpringSecurity實現(xiàn)認證攔截,需要的朋友可以參考下
    2023-05-05
  • Spring Boot 2.X 快速集成單元測試解析

    Spring Boot 2.X 快速集成單元測試解析

    這篇文章主要介紹了Spring Boot 2.X 快速集成單元測試解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-08-08
  • Java實現(xiàn)反轉(zhuǎn)一個鏈表的示例代碼

    Java實現(xiàn)反轉(zhuǎn)一個鏈表的示例代碼

    本文主要介紹了Java實現(xiàn)反轉(zhuǎn)一個鏈表的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-07-07
  • IDEA 搭建maven 安裝、下載、配置的圖文教程詳解

    IDEA 搭建maven 安裝、下載、配置的圖文教程詳解

    這篇文章主要介紹了IDEA 搭建maven 安裝、下載、配置,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-06-06
  • Mybatis-plus3.4.3下使用lambdaQuery報錯解決

    Mybatis-plus3.4.3下使用lambdaQuery報錯解決

    最近在使用lambdaQuery().eq(CommonUser::getOpenId, openId).one()進行查詢報錯,本文主要介紹了Mybatis-plus3.4.3下使用lambdaQuery報錯解決,具有一定的參考價值,感興趣的可以了解一下
    2024-07-07
  • Java事件機制要素及實例詳解

    Java事件機制要素及實例詳解

    這篇文章主要介紹了Java事件機制要素及實例詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-04-04
  • 利用Java如何獲取Mybatis動態(tài)生成的sql接口實現(xiàn)

    利用Java如何獲取Mybatis動態(tài)生成的sql接口實現(xiàn)

    MyBatis 的強大特性之一便是它的動態(tài)SQL,下面這篇文章主要給大家介紹了關(guān)于利用Java如何獲取Mybatis動態(tài)生成的sql接口實現(xiàn)的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-01-01
  • 簡單了解JavaBean作用及常用操作

    簡單了解JavaBean作用及常用操作

    這篇文章主要介紹了簡單了解JavaBean作用及常用操作,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-05-05
  • 一文詳解Spring攔截鏈的實現(xiàn)原理

    一文詳解Spring攔截鏈的實現(xiàn)原理

    在?Web應用開發(fā)中,攔截器(Interceptor)是一種非常重要的機制,能夠在請求處理的各個階段進行前置和后置處理,本文主要來探討一下?Spring?攔截鏈的實現(xiàn)原理,需要的可以了解下
    2025-01-01
  • SpringBoot?的?web?類型推斷詳解

    SpringBoot?的?web?類型推斷詳解

    這篇文章主要介紹了SpringBoot?的?web?類型推斷詳解的相關(guān)資料,需要的朋友可以參考下
    2022-12-12

最新評論