本期內(nèi)容：

10年積累的網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有墨竹工卡免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

1 MapReduce架構(gòu)解密

2 MapReduce運行集群研究

3 通過Java編程操作MapReduce實戰(zhàn)

Hadoop從2。0開始就已經(jīng)必須運行在 Yarn上面了，1.0時根本不關(guān)心Yarn。

現(xiàn)在是 MR，也是講Yarn的，而且已經(jīng)是 基礎(chǔ)入門階段。零基礎(chǔ)已經(jīng)過去了。

明天開始 - 20個左右的MapReduce代碼的集合講解

一：基于Yarn的MapReduce架構(gòu)

1.MR代碼程序是基于實現(xiàn)Mapper和Reducer兩大階段構(gòu)成的，其中Mapper是把一個計算任務(wù)分解成很多

小任務(wù)進行并行計算，Reducer是進行最后的統(tǒng)計的工作的；

2.Hadoop 2.x開始是基于Yarn運行的。

Yarn是管理集群的所有資源的（如內(nèi)存和CPU），ResourceManager，每個節(jié)點上安排了一上JVM進程，NodeManager，接收要求用Container方式來包裹這些資源，當(dāng)RM接收到作業(yè)請求時，

3.當(dāng)ResourceManager接收到Client提交的請求的程序的時候會根據(jù)集群資源的狀況在某個NodeManager所在的節(jié)點上命令NodeManager啟動該程序的第一個Container，該Container就是程序的ApplicationMaster，負責(zé)程序的任務(wù)調(diào)度的執(zhí)行過程，ApplicationManager轉(zhuǎn)過來向ResourceManager注冊自己，注冊之后會向ReourceManager申請具體的Container計算資源。

4.如何街道一個程序中的ApplicationMaster需要多少個Container呢？

 Application在啟動時會運行程序的Main方法，該方法中會有數(shù)據(jù)的輸入和相關(guān)的配置，通過這些內(nèi)容就可以知道需要多少Container；

（container是一個單位的計算機資源，根據(jù)客戶端請求的計算，集群會解析計算job,計算結(jié)果包含需要的contain資源）

Application要運行Main方法，知道分析程序有多少個分片，多少個分片對應(yīng)Container，再考量其他資源，如Shuffle等再分配一些資源。

5.MapReduce運行在Yarn上的總結(jié)

主從結(jié)構(gòu)

主節(jié)點，只有一個: ResourceManager

控制節(jié)點，每個Job都有一個MRAppMaster

從節(jié)點，有很多個: YarnChild

ResourceManager負責(zé)：

接收客戶提交的計算任務(wù)

把Job分給MRAppMaster執(zhí)行

監(jiān)控MRAppMaster的執(zhí)行情況

MRAppMaster負責(zé)：

負責(zé)一個Job執(zhí)行的任務(wù)調(diào)度

把Job分給YarnChild執(zhí)行

監(jiān)控YarnChild的執(zhí)行情況

YarnChild負責(zé)：

執(zhí)行MRAppMaster分配的計算任務(wù)

RM生產(chǎn)環(huán)境中是要做HA的

6.Hadoop MapReduce中的 MRAppMaster，相當(dāng)于Spark中的Driver，Hadoop MapReduce中的YarnChildren相當(dāng)于Spark中的CoarseGrainedExecutorBackend；

（Hadoop相對于Spark資源的損耗相當(dāng)多）

新聞標(biāo)題：大數(shù)據(jù)IMF-L38-MapReduce內(nèi)幕解密聽課筆記及總結(jié)
鏈接分享：http://sd-ha.com/article12/pepgdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、響應(yīng)式網(wǎng)站、定制網(wǎng)站、網(wǎng)站內(nèi)鏈、域名注冊、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)