Hadoop3.x概述

Hadoop3.x中增強了很多特性，并且也改進了很多地方，是Hadoop2.x的升級（這不是廢話嗎）。需要注意的是，在Hadoop3.x中，不能再使用jdk1.7，而是需要升級到jdk1.8以上版本。這是因為Hadoop 2.0是基于JDK 1.7開發(fā)的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區(qū)基于JDK 1.8重新發(fā)布一個新的Hadoop版本，而這正是Hadoop3.x。Hadoop3.x以后將會調整方案架構，將Mapreduce 基于內存+io+磁盤，共同處理數(shù)據(jù)。

創(chuàng)新互聯(lián)云計算的互聯(lián)網(wǎng)服務提供商,擁有超過13年的服務器租用、服務器機柜租用、云服務器、網(wǎng)站空間、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗，已先后獲得國家工業(yè)和信息化部頒發(fā)的互聯(lián)網(wǎng)數(shù)據(jù)中心業(yè)務許可證。專業(yè)提供云主機、網(wǎng)站空間、主機域名、VPS主機、云服務器、香港云服務器、免備案服務器等。

Hadoop 3.x中引入了一些重要的功能和優(yōu)化，包括HDFS 可擦除編碼、多Namenode支持、MR Native Task優(yōu)化、YARN基于cgroup的內存和磁盤IO隔離、YARN container resizing等。

Hadoop3.x官方文檔地址如下：

http://hadoop.apache.org/docs/r3.0.1/

---

Hadoop3.x新特性之Common改進

Hadoop Common改進：

1. 精簡Hadoop內核，包括剔除過期的API和實現(xiàn)，將默認組件實現(xiàn)替換成最高效的實現(xiàn)（比如將FileOutputCommitter缺省實現(xiàn)換為v2版本，廢除hftp轉由webhdfs替代，移除Hadoop子實現(xiàn)序列化庫org.apache.hadoop.Records

2. lasspath isolation以防止不同版本jar包沖突，比如google Guava在混合使用Hadoop、HBase和Spark時，很容易產(chǎn)生沖突。（https://issues.apache.org/jira/browse/HADOOP-11656）

3. Shell腳本重構。 Hadoop 3.0對Hadoop的管理腳本進行了重構，修復了大量bug，增加了新特性，支持動態(tài)命令等。使用方式上則和之前版本的一致。（https://issues.apache.org/jira/browse/HADOOP-9902）

---

Hadoop3.x新特性之HDFS改進

Hadoop3.x中最大改變的是HDFS，HDFS通過最近black塊計算，根據(jù)最近計算原則，本地black塊，加入到內存，先計算，通過IO，共享內存計算區(qū)域，最后快速形成計算結果。

1. HDFS支持數(shù)據(jù)的擦除編碼，這使得HDFS在不降低可靠性的前提下，節(jié)省一半存儲空間。（https://issues.apache.org/jira/browse/HDFS-7285）

2. 多NameNode支持，即支持一個集群中，一個active、多個standby namenode部署方式。注：多ResourceManager特性在hadoop 2.0中已經(jīng)支持。（https://issues.apache.org/jira/browse/HDFS-6440）

關于這兩個特性的官方文檔地址：

http://hadoop.apache.org/docs/r3.0.1/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html
http://hadoop.apache.org/docs/r3.0.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

---

Hadoop3.x新特性之YARN改進

1. 基于cgroup的內存隔離和IO Disk隔離（https://issues.apache.org/jira/browse/YARN-2619）
2. 用curator實現(xiàn)RM leader選舉（https://issues.apache.org/jira/browse/YARN-4438）
3. containerresizing（https://issues.apache.org/jira/browse/YARN-1197）
4. Timelineserver next generation （https://issues.apache.org/jira/browse/YARN-2928）

官方文檔地址：

http://hadoop.apache.org/docs/r3.0.1/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html

---

Hadoop3.x新特性之MapReduce改進

1. Tasknative優(yōu)化。為MapReduce增加了C/C++的map output collector實現(xiàn)（包括Spill，Sort和IFile等），通過作業(yè)級別參數(shù)調整就可切換到該實現(xiàn)上。對于shuffle密集型應用，其性能可提高約30%。（https://issues.apache.org/jira/browse/MAPREDUCE-2841）

2. MapReduce內存參數(shù)自動推斷。在Hadoop 2.0中，為MapReduce作業(yè)設置內存參數(shù)非常繁瑣，涉及到兩個參數(shù)：mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts，一旦設置不合理，則會使得內存資源浪費嚴重，比如將前者設置為4096MB，但后者卻是“-Xmx2g”，則剩余2g實際上無法讓java heap使用到。（https://issues.apache.org/jira/browse/MAPREDUCE-5785）

---

Hadoop3.x新特性之其他

1. 添加新的 hadoop-client-api 和 hadoop-client-runtime 組件到一個單獨的jar包里，以此解決依賴不兼容的問題。 （https://issues.apache.org/jira/browse/HADOOP-11804）
2. 支持微軟的Azure分布式文件系統(tǒng)和阿里的aliyun分布式文件系統(tǒng)

新聞名稱：Hadoop3.x新特性
網(wǎng)頁URL：http://sd-ha.com/article34/jgiipe.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、云服務器、關鍵詞優(yōu)化、響應式網(wǎng)站、網(wǎng)站維護、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)