hadoop上傳文件功能實(shí)例代碼
hdfs上的文件是手動(dòng)執(zhí)行命令從本地linux上傳至hdfs的。在真實(shí)的運(yùn)行環(huán)境中,我們不可能每次手動(dòng)執(zhí)行命令上傳的,這樣太過(guò)繁瑣。那么,我們可以使用hdfs提供的Java api實(shí)現(xiàn)文件上傳至hdfs,或者直接從ftp上傳至hdfs。
然而,需要說(shuō)明一點(diǎn),之前筆者是要運(yùn)行MR,都需要每次手動(dòng)執(zhí)行yarn jar,在實(shí)際的環(huán)境中也不可能每次手動(dòng)執(zhí)行。像我們公司是使用了索答的調(diào)度平臺(tái)/任務(wù)監(jiān)控平臺(tái),可以定時(shí)的以工作流執(zhí)行我們的程序,包括普通java程序和MR。其實(shí),這個(gè)調(diào)度平臺(tái)就是使用了quartz。當(dāng)然,這個(gè)調(diào)度平臺(tái)也提供其它的一些功能,比如web展示、日志查看等,所以也不是免費(fèi)的。
首先,給大家簡(jiǎn)單介紹一下hdfs。hdfs是以流式數(shù)據(jù)訪問(wèn)模式來(lái)存儲(chǔ)超大文件,hdfs的構(gòu)建思路是一次寫(xiě)入,多次讀取,這樣才是最高效的訪問(wèn)模式。hdfs是為高數(shù)據(jù)吞吐量應(yīng)用優(yōu)化的,所以會(huì)以提高時(shí)間延遲為代價(jià)。對(duì)于低延時(shí)的訪問(wèn)需求,我們可以使用hbase。
然后,還要知道hdfs中塊(block)的概念,默認(rèn)為64MB。塊是hdfs的數(shù)據(jù)讀寫(xiě)的最小單位,通常每個(gè)map任務(wù)一次只處理一個(gè)block,像我們對(duì)集群性能評(píng)估就會(huì)使用到這個(gè)概念,比如目前有多少節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)的磁盤(pán)空間、cpu以及所要處理的數(shù)據(jù)量、網(wǎng)絡(luò)帶寬,通過(guò)這些信息來(lái)進(jìn)行性能評(píng)估。我們可以使用Hadoop fsck / -files -blocks列出文件系統(tǒng)中各個(gè)文件由哪些塊構(gòu)成。
然后,再就是要知道namenode和datanode,這個(gè)在之前的博文已經(jīng)介紹過(guò),下面看看cm環(huán)境中hdfs的管理者(namenode)和工作者(datanode),如下
在yarn環(huán)境中是可以有多個(gè)nameNode的。此環(huán)境中沒(méi)有SecondaryNameNode,當(dāng)然也可以有。
好了,關(guān)于hdfs的基本概念就講到這兒了,下面來(lái)看看具體的代碼。
一、java實(shí)現(xiàn)上傳本地文件至hdfs
這里,可以直接使用hdfs提供的java api即可實(shí)現(xiàn),代碼如下:
package com.bjpowernode.hdfs.local; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /** * ClassName:UploadLocalFileToHdfs <br/> * Function: 本地文件上傳至hdfs. <br/> * Date: 2016年3月28日 下午10:06:05 <br/> * @author qiyongkang * @version * @since JDK 1.6 * @see */ public class UploadLocalFileToHdfs { public static void main(String[] args) { Configuration conf = new Configuration(); String localDir = "/home/qiyongkang"; String hdfsDir = "/qiyongkang"; try{ Path localPath = new Path(localDir); Path hdfsPath = new Path(hdfsDir); FileSystem hdfs = FileSystem.get(conf); hdfs.copyFromLocalFile(localPath, hdfsPath); }catch(Exception e){ e.printStackTrace(); } } }
注意,這里hdfs上傳目錄如果不存在的話,hdfs會(huì)自動(dòng)創(chuàng)建,比較智能。
打完包后,上傳至服務(wù)器,執(zhí)行yarn jar mr-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar
,然后執(zhí)行hadoop fs -ls /qiyongkang便可看到:
二、java實(shí)現(xiàn)上傳ftp上的文件至hdfs
首先,我們得準(zhǔn)備一個(gè)ftp服務(wù)器,關(guān)于ftp服務(wù)器的搭建,大家可以查閱資料,筆者就不贅述了。
其實(shí),從ftp上拉取文件上傳到hdfs上,這個(gè)過(guò)程大家不要想復(fù)雜了,我們講本地文件上傳到hdfs,其實(shí)就是采用流的方式。因此,我們可以直接讀取ftp上的文件流,然后以流的方式寫(xiě)入到hdfs。
下面,直接貼出代碼:
package com.bjpowernode.hdfs.ftp; import java.io.InputStream; import org.apache.commons.net.ftp.FTP; import org.apache.commons.net.ftp.FTPClient; import org.apache.commons.net.ftp.FTPFile; import org.apache.commons.net.ftp.FTPReply; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; /** * ClassName:UploadFtpFileToHdfs <br/> * Function: TODO ADD FUNCTION. <br/> * Reason: TODO ADD REASON. <br/> * Date: 2016年3月28日 下午10:50:37 <br/> * * @author qiyongkang * @version * @since JDK 1.6 * @see */ public class UploadFtpFileToHdfs { public static void main(String[] args) { Configuration conf = new Configuration(); loadFromFtpToHdfs("172.31.26.200", "qiyongkang", "qyk123456", "/www/input/", "/qiyongkang/", conf); } /** * * loadFromFtpToHdfs:將數(shù)據(jù)從ftp上傳到hdfs上. <br/> * * @author qiyongkang * @param ip * @param username * @param password * @param filePath * @param outputPath * @param conf * @return * @since JDK 1.6 */ private static boolean loadFromFtpToHdfs(String ip, String username, String password, String filePath, String outputPath, Configuration conf) { FTPClient ftp = new FTPClient(); InputStream inputStream = null; FSDataOutputStream outputStream = null; boolean flag = true; try { ftp.connect(ip); ftp.login(username, password); ftp.setFileType(FTP.BINARY_FILE_TYPE); ftp.setControlEncoding("UTF-8"); int reply = ftp.getReplyCode(); if (!FTPReply.isPositiveCompletion(reply)) { ftp.disconnect(); } FTPFile[] files = ftp.listFiles(filePath); FileSystem hdfs = FileSystem.get(conf); for (FTPFile file : files) { if (!(file.getName().equals(".") || file.getName().equals(".."))) { inputStream = ftp.retrieveFileStream(filePath + file.getName()); outputStream = hdfs.create(new Path(outputPath + file.getName())); IOUtils.copyBytes(inputStream, outputStream, conf, false); if (inputStream != null) { inputStream.close(); ftp.completePendingCommand(); } } } ftp.disconnect(); } catch (Exception e) { flag = false; e.printStackTrace(); } return flag; } }
然后同樣打包上傳后執(zhí)行yarn jar mr-demo-0.0.1-SNAPSHOT-jar-with-dependencies.jar,便可看到:
總結(jié)
以上所述是小編給大家介紹的hadoop上傳文件功能實(shí)例代碼,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
相關(guān)文章
Spring cloud oauth2如何搭建認(rèn)證資源中心
這篇文章主要介紹了Spring cloud oauth2如何搭建認(rèn)證資源中心,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11MyBatisPlus 一對(duì)多、多對(duì)一、多對(duì)多的完美解決方案
這篇文章主要介紹了MyBatisPlus 一對(duì)多、多對(duì)一、多對(duì)多的完美解決方案,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-11-11Java中IO流 RandomAccessFile類(lèi)實(shí)例詳解
這篇文章主要介紹了Java中IO流 RandomAccessFile類(lèi)實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-05-05maven profile自動(dòng)切換環(huán)境參數(shù)的2種方法詳解
這篇文章主要給大家介紹了關(guān)于maven profile自動(dòng)切換環(huán)境參數(shù)的2種方法,文中通過(guò)示例代碼將這兩種方法介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-04-04Spring中的SpringData詳細(xì)說(shuō)明
這篇文章主要介紹了Spring中的SpringData詳細(xì)說(shuō)明,Spring Data 是Spring 的一個(gè)子項(xiàng)目, 旨在統(tǒng)一和簡(jiǎn)化對(duì)各類(lèi)型持久化存儲(chǔ), 而不拘泥于是關(guān)系型數(shù)據(jù)庫(kù)還是NoSQL 數(shù)據(jù)存儲(chǔ),需要的朋友可以參考下2023-11-11springboot使用國(guó)產(chǎn)加密算法方式,sm2和sm3加解密demo
這篇文章主要介紹了springboot使用國(guó)產(chǎn)加密算法方式,sm2和sm3加解密demo,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-07-07Java連接數(shù)據(jù)庫(kù)oracle中文亂碼解決方案
這篇文章主要介紹了Java連接數(shù)據(jù)庫(kù)oracle中文亂碼解決方案,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05教你Springboot如何實(shí)現(xiàn)圖片上傳
這篇文章主要介紹了教你Springboot如何實(shí)現(xiàn)圖片上傳,首先大家明白圖片上傳,需要在數(shù)據(jù)庫(kù)定義一個(gè)varchar類(lèi)型的img字段圖片字段,本文結(jié)合示例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07SpringBoot利用jpa連接MySQL數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了SpringBoot利用jpa連接MySQL數(shù)據(jù)庫(kù)的方法,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-10-10