欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

hadoop上傳文件功能實例代碼

 更新時間:2017年09月26日 10:17:57   投稿:mrr  
這篇文章主要介紹了hadoop上傳文件功能實例代碼,需要的朋友可以參考下

hdfs上的文件是手動執(zhí)行命令從本地linux上傳至hdfs的。在真實的運行環(huán)境中,我們不可能每次手動執(zhí)行命令上傳的,這樣太過繁瑣。那么,我們可以使用hdfs提供的Java api實現(xiàn)文件上傳至hdfs,或者直接從ftp上傳至hdfs。 

然而,需要說明一點,之前筆者是要運行MR,都需要每次手動執(zhí)行yarn jar,在實際的環(huán)境中也不可能每次手動執(zhí)行。像我們公司是使用了索答的調(diào)度平臺/任務(wù)監(jiān)控平臺,可以定時的以工作流執(zhí)行我們的程序,包括普通java程序和MR。其實,這個調(diào)度平臺就是使用了quartz。當(dāng)然,這個調(diào)度平臺也提供其它的一些功能,比如web展示、日志查看等,所以也不是免費的。 

首先,給大家簡單介紹一下hdfs。hdfs是以流式數(shù)據(jù)訪問模式來存儲超大文件,hdfs的構(gòu)建思路是一次寫入,多次讀取,這樣才是最高效的訪問模式。hdfs是為高數(shù)據(jù)吞吐量應(yīng)用優(yōu)化的,所以會以提高時間延遲為代價。對于低延時的訪問需求,我們可以使用hbase。 

然后,還要知道hdfs中塊(block)的概念,默認(rèn)為64MB。塊是hdfs的數(shù)據(jù)讀寫的最小單位,通常每個map任務(wù)一次只處理一個block,像我們對集群性能評估就會使用到這個概念,比如目前有多少節(jié)點,每個節(jié)點的磁盤空間、cpu以及所要處理的數(shù)據(jù)量、網(wǎng)絡(luò)帶寬,通過這些信息來進行性能評估。我們可以使用Hadoop fsck / -files -blocks列出文件系統(tǒng)中各個文件由哪些塊構(gòu)成。 

然后,再就是要知道namenode和datanode,這個在之前的博文已經(jīng)介紹過,下面看看cm環(huán)境中hdfs的管理者(namenode)和工作者(datanode),如下 

在yarn環(huán)境中是可以有多個nameNode的。此環(huán)境中沒有SecondaryNameNode,當(dāng)然也可以有。 

好了,關(guān)于hdfs的基本概念就講到這兒了,下面來看看具體的代碼。

一、java實現(xiàn)上傳本地文件至hdfs

這里,可以直接使用hdfs提供的java api即可實現(xiàn),代碼如下:

package com.bjpowernode.hdfs.local;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
 * ClassName:UploadLocalFileToHdfs <br/>
 * Function: 本地文件上傳至hdfs. <br/>
 * Date:  2016年3月28日 下午10:06:05 <br/>
 * @author qiyongkang
 * @version 
 * @since JDK 1.6
 * @see  
 */
public class UploadLocalFileToHdfs {
 public static void main(String[] args) {
  Configuration conf = new Configuration();
  String localDir = "/home/qiyongkang";
  String hdfsDir = "/qiyongkang";
  try{
   Path localPath = new Path(localDir);
   Path hdfsPath = new Path(hdfsDir);
   FileSystem hdfs = FileSystem.get(conf);
   hdfs.copyFromLocalFile(localPath, hdfsPath);
  }catch(Exception e){
   e.printStackTrace();
  }
 }
}

注意,這里hdfs上傳目錄如果不存在的話,hdfs會自動創(chuàng)建,比較智能。 

打完包后,上傳至服務(wù)器,執(zhí)行yarn jar mr-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar,然后執(zhí)行hadoop fs -ls /qiyongkang便可看到: 

二、java實現(xiàn)上傳ftp上的文件至hdfs

首先,我們得準(zhǔn)備一個ftp服務(wù)器,關(guān)于ftp服務(wù)器的搭建,大家可以查閱資料,筆者就不贅述了。 

其實,從ftp上拉取文件上傳到hdfs上,這個過程大家不要想復(fù)雜了,我們講本地文件上傳到hdfs,其實就是采用流的方式。因此,我們可以直接讀取ftp上的文件流,然后以流的方式寫入到hdfs。 

下面,直接貼出代碼:

package com.bjpowernode.hdfs.ftp;
import java.io.InputStream;
import org.apache.commons.net.ftp.FTP;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
 * ClassName:UploadFtpFileToHdfs <br/>
 * Function: TODO ADD FUNCTION. <br/>
 * Reason: TODO ADD REASON. <br/>
 * Date: 2016年3月28日 下午10:50:37 <br/>
 * 
 * @author qiyongkang
 * @version
 * @since JDK 1.6
 * @see
 */
public class UploadFtpFileToHdfs {
 public static void main(String[] args) {
  Configuration conf = new Configuration();
  loadFromFtpToHdfs("172.31.26.200", "qiyongkang", "qyk123456", "/www/input/", "/qiyongkang/", conf);
 }
 /**
  * 
  * loadFromFtpToHdfs:將數(shù)據(jù)從ftp上傳到hdfs上. <br/>
  *
  * @author qiyongkang
  * @param ip
  * @param username
  * @param password
  * @param filePath
  * @param outputPath
  * @param conf
  * @return
  * @since JDK 1.6
  */
 private static boolean loadFromFtpToHdfs(String ip, String username, String password, String filePath,
   String outputPath, Configuration conf) {
  FTPClient ftp = new FTPClient();
  InputStream inputStream = null;
  FSDataOutputStream outputStream = null;
  boolean flag = true;
  try {
   ftp.connect(ip);
   ftp.login(username, password);
   ftp.setFileType(FTP.BINARY_FILE_TYPE);
   ftp.setControlEncoding("UTF-8");
   int reply = ftp.getReplyCode();
   if (!FTPReply.isPositiveCompletion(reply)) {
    ftp.disconnect();
   }
   FTPFile[] files = ftp.listFiles(filePath);
   FileSystem hdfs = FileSystem.get(conf);
   for (FTPFile file : files) {
    if (!(file.getName().equals(".") || file.getName().equals(".."))) {
     inputStream = ftp.retrieveFileStream(filePath + file.getName());
     outputStream = hdfs.create(new Path(outputPath + file.getName()));
     IOUtils.copyBytes(inputStream, outputStream, conf, false);
     if (inputStream != null) {
      inputStream.close();
      ftp.completePendingCommand();
     }
    }
   }
   ftp.disconnect();
  } catch (Exception e) {
   flag = false;
   e.printStackTrace();
  }
  return flag;
 }
}

然后同樣打包上傳后執(zhí)行yarn jar mr-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar,便可看到: 

總結(jié)

以上所述是小編給大家介紹的hadoop上傳文件功能實例代碼,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

  • Spring cloud oauth2如何搭建認(rèn)證資源中心

    Spring cloud oauth2如何搭建認(rèn)證資源中心

    這篇文章主要介紹了Spring cloud oauth2如何搭建認(rèn)證資源中心,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-11-11
  • MyBatisPlus 一對多、多對一、多對多的完美解決方案

    MyBatisPlus 一對多、多對一、多對多的完美解決方案

    這篇文章主要介紹了MyBatisPlus 一對多、多對一、多對多的完美解決方案,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-11-11
  • Java中IO流 RandomAccessFile類實例詳解

    Java中IO流 RandomAccessFile類實例詳解

    這篇文章主要介紹了Java中IO流 RandomAccessFile類實例詳解的相關(guān)資料,需要的朋友可以參考下
    2017-05-05
  • maven profile自動切換環(huán)境參數(shù)的2種方法詳解

    maven profile自動切換環(huán)境參數(shù)的2種方法詳解

    這篇文章主要給大家介紹了關(guān)于maven profile自動切換環(huán)境參數(shù)的2種方法,文中通過示例代碼將這兩種方法介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2018-04-04
  • Spring中的SpringData詳細(xì)說明

    Spring中的SpringData詳細(xì)說明

    這篇文章主要介紹了Spring中的SpringData詳細(xì)說明,Spring Data 是Spring 的一個子項目, 旨在統(tǒng)一和簡化對各類型持久化存儲, 而不拘泥于是關(guān)系型數(shù)據(jù)庫還是NoSQL 數(shù)據(jù)存儲,需要的朋友可以參考下
    2023-11-11
  • springboot使用國產(chǎn)加密算法方式,sm2和sm3加解密demo

    springboot使用國產(chǎn)加密算法方式,sm2和sm3加解密demo

    這篇文章主要介紹了springboot使用國產(chǎn)加密算法方式,sm2和sm3加解密demo,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-07-07
  • springboot整合jcasbin權(quán)限管理

    springboot整合jcasbin權(quán)限管理

    jcasbin的權(quán)限控制非常簡單,本文就來介紹一下springboot整合jcasbin權(quán)限管理,具有一定的參考價值,感興趣的可以了解一下
    2023-09-09
  • Java連接數(shù)據(jù)庫oracle中文亂碼解決方案

    Java連接數(shù)據(jù)庫oracle中文亂碼解決方案

    這篇文章主要介紹了Java連接數(shù)據(jù)庫oracle中文亂碼解決方案,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-05-05
  • 教你Springboot如何實現(xiàn)圖片上傳

    教你Springboot如何實現(xiàn)圖片上傳

    這篇文章主要介紹了教你Springboot如何實現(xiàn)圖片上傳,首先大家明白圖片上傳,需要在數(shù)據(jù)庫定義一個varchar類型的img字段圖片字段,本文結(jié)合示例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2023-07-07
  • SpringBoot利用jpa連接MySQL數(shù)據(jù)庫的方法

    SpringBoot利用jpa連接MySQL數(shù)據(jù)庫的方法

    這篇文章主要介紹了SpringBoot利用jpa連接MySQL數(shù)據(jù)庫的方法,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-10-10

最新評論