本篇文章為大家展示了hdfs工作原理是什么，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：域名注冊、網站空間、營銷軟件、網站建設、余杭網站維護、網站推廣。

一,當用client向hdfs中寫入數(shù)據(jù)的時候.

           當我們向hdfs 寫數(shù)據(jù)的時候,客戶端要做兩件事.首先,將數(shù)據(jù)文件劃分不同的數(shù)據(jù)塊,劃分的標準默認是64MB或128MB,這個是可以配置的.其次是向namenode請求一批(實際上就是默認的3個)datanode以存放數(shù)據(jù)塊.當然namenode不是隨便的選出三個datanode給client,它會選擇三個最靠近client的三個datanode,那么這個距離是怎么計算的呢,是這樣的,它會去計算兩個節(jié)點與父節(jié)點帶寬之和來計算兩個節(jié)點的距離,在得到三個最近的datanode之后,namenode會先按與client的距離對datanode排下序,然后返回給客戶端.

           下面client要做的就是向namenode返回的3個datanode中傳輸數(shù)據(jù)了.當它在寫第一個數(shù)據(jù)塊時,它會先向離它最近的那個datanode寫數(shù)據(jù).那么client如何知道它向第一個datanode寫入數(shù)據(jù)是否成功了呢?是這樣的,client在向datanode傳數(shù)據(jù)的同時,會計算下數(shù)據(jù)快的校驗和,這個校驗和也會傳給datanode,datanode 在存儲完數(shù)據(jù)后,會對數(shù)據(jù)塊取下校驗和與client的校驗和進行比對,如果一致的話說明數(shù)據(jù)保存成功,然后它會向client進行ack,告訴client數(shù)據(jù)已經成功保存了,同時它也會告訴namenode數(shù)據(jù)塊保存成功了.剩下的數(shù)據(jù)塊保存到下兩個datanode的過程和第一個過程是相似的,只是數(shù)據(jù)的傳輸不是都是client去傳遞的,而是datanode之間進行傳遞的,每個datanode成功保存完數(shù)據(jù)后都會向client進行ack并通知namenode保存數(shù)據(jù)完畢.當client接受到所有的datanode的ack后,client會告訴namenode數(shù)據(jù)塊全部寫入完畢.當namenode接受到client的消息后,namenode要做的就是維護兩張表,一張表是每個數(shù)據(jù)塊對應的datanode地址,另一張表是存儲數(shù)據(jù)副本的時候經過了那些管線.

      二,當從hdfs中讀數(shù)據(jù)的時候.

             當client要從hdfs中讀取數(shù)據(jù)的時候,首先客戶端要知道數(shù)據(jù)存儲在哪吧,怎么才能知道啊,誰知道啊?當然是namenode啊,namenode存儲了所有的數(shù)據(jù)塊元數(shù)據(jù)信息.client會給namenode請求數(shù)據(jù)的文件地址,namenode會返回給client關于數(shù)據(jù)塊的相關信息即數(shù)據(jù)塊存放在哪些datanode上了，每個datanode存放了哪些數(shù)據(jù)塊,當然這些datanode也是按照與client距離排過序的.當client拿到這些信息后,它會先到離它最近的那個datanode上下載數(shù)據(jù).

         三,故障的規(guī)避.

              因為是分布式文件系統(tǒng),網路中什么事情都有可能發(fā)生,如datanode掛掉,datanode不能返回客戶端想要的數(shù)據(jù),datanode在保存數(shù)據(jù)的時候數(shù)據(jù)損毀,或者最嚴重的namenode掛掉.

              下面看看這個四個問題,hadoop是如何規(guī)避的呢。

              首先是datanode掛掉,當hdfs啟動后每個datanode節(jié)點會定期上報自己的健康狀況,每個datanode會每三秒向namenode發(fā)送心跳,證明自己還或者,假如namenode是秒鐘沒有收到datanode發(fā)送的心跳,namenode會認為這個datanode已經掛掉了.

              下一個問題datanode不能返回客戶端想要的數(shù)據(jù),當客戶端datanode請求數(shù)據(jù)或寫入數(shù)據(jù)的時候,datanode無相應怎么辦呢,當客戶端長時間沒有接收到datanode的ack后,client也為認為這個datanode已經掛掉了,于是會跳過這個datanode,請求下個datanode.    

              第三個問題,datanode保存的數(shù)據(jù)發(fā)生損壞,這個該怎么辦呢,datanode會定期上報自己所存的數(shù)據(jù)快健康狀況,健康狀況是通過校驗和來判斷的,當nomenode收到datanode發(fā)送的數(shù)據(jù)塊健康狀況的報告后它就知道那些數(shù)據(jù)塊損毀,然后它就會去更新它維護的兩張表,即數(shù)據(jù)塊在哪些datanode上存著,每個datanode上存放了哪些數(shù)據(jù)塊,如果namenode發(fā)現(xiàn)哪個數(shù)據(jù)塊的副本沒有達到標準,它會通知其它的datanode從已有數(shù)據(jù)塊的datanode上copy相應的數(shù)據(jù)塊.

              第四個問題,namenode掛掉,這個問題是最嚴重的,目前的最好的解決辦法就是加一個輔助namenode即secondNamenode,以備分數(shù)據(jù)塊的元數(shù)據(jù)信息,盡可能的避免數(shù)據(jù)丟失.

上述內容就是hdfs工作原理是什么，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

本文標題：hdfs工作原理是什么
當前URL：http://sd-ha.com/article12/ipdggc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供Google、微信小程序、網頁設計公司、用戶體驗、營銷型網站建設、品牌網站設計

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)