一. hadoop生態(tài)概況

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。具有可靠、高效、可伸縮的特點。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：主機域名、網(wǎng)絡(luò)空間、營銷軟件、網(wǎng)站建設(shè)、威縣網(wǎng)站維護、網(wǎng)站推廣。

Hadoop的核心是YARN,HDFS和Mapreduce

下圖是hadoop生態(tài)系統(tǒng)，集成spark生態(tài)圈。在未來一段時間內(nèi)，hadoop將于spark共存，hadoop與spark都能部署在yarn、mesos的資源管理系統(tǒng)之上。

1、HDFS（Hadoop分布式文件系統(tǒng)）

源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。

HDFS是Hadoop體系中數(shù)據(jù)存儲管理的基礎(chǔ)。它是一個高度容錯的系統(tǒng)，能檢測和應(yīng)對硬件故障，用于在低成本的通用硬件上運行。

HDFS簡化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。

它提供了一次寫入多次讀取的機制，數(shù)據(jù)以塊的形式，同時分布在集群不同物理機器上。

 

2、Mapreduce（分布式計算框架）

源自于google的MapReduce論文，發(fā)表于2004年12月，HadoopMapReduce是google MapReduce 克隆版。

MapReduce是一種分布式計算模型，用以進(jìn)行大數(shù)據(jù)量的計算。它屏蔽了分布式計算框架細(xì)節(jié)，將計算抽象成map和reduce兩部分，

其中Map對數(shù)據(jù)集上的獨立元素進(jìn)行指定的操作，生成鍵-值對形式中間結(jié)果。Reduce則對中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果。

MapReduce非常適合在大量計算機組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理。

 

3. HBASE（分布式列存數(shù)據(jù)庫）

源自Google的Bigtable論文，發(fā)表于2006年11月，HBase是GoogleBigtable克隆版。

HBase是一個建立在HDFS之上，面向列的針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。

HBase采用了BigTable的數(shù)據(jù)模型：增強的稀疏排序映射表（Key/Value），其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時間戳構(gòu)成。

HBase提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問，同時，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲和并行計算完美地結(jié)合在一起。

4. Zookeeper（分布式協(xié)作服務(wù)）

源自Google的Chubby論文，發(fā)表于2006年11月，Zookeeper是Chubby克隆版

解決分布式環(huán)境下的數(shù)據(jù)管理問題：統(tǒng)一命名，狀態(tài)同步，集群管理，配置同步等

Hadoop的許多組件依賴于Zookeeper，它運行在計算機集群上面，用于管理Hadoop操作。

 

5. HIVE（數(shù)據(jù)倉庫）

由facebook開源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計問題。

 

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉(zhuǎn)化為MapReduce任務(wù)在Hadoop上執(zhí)行。通常用于離線分析。

HQL用于運行存儲在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務(wù)。

6.Pig(ad-hoc腳本）

由yahoo!開源，設(shè)計動機是提供一種基于MapReduce的ad-hoc(計算在query時發(fā)生)數(shù)據(jù)分析工具

Pig定義了一種數(shù)據(jù)流語言—PigLatin，它是MapReduce編程的復(fù)雜性的抽象,Pig平臺包括運行環(huán)境和用于分析Hadoop數(shù)據(jù)集的腳本語言(Pig Latin)。

其編譯器將Pig Latin翻譯成MapReduce程序序列將腳本轉(zhuǎn)換為MapReduce任務(wù)在Hadoop上執(zhí)行。通常用于進(jìn)行離線分析。

7.Sqoop(數(shù)據(jù)ETL/同步工具）

Sqoop是SQL-to-Hadoop的縮寫，主要用于傳統(tǒng)數(shù)據(jù)庫和Hadoop之前傳輸數(shù)據(jù)。數(shù)據(jù)的導(dǎo)入和導(dǎo)出本質(zhì)上是Mapreduce程序，充分利用了MR的并行化和容錯性。

Sqoop利用數(shù)據(jù)庫技術(shù)描述數(shù)據(jù)架構(gòu)，用于在關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫和Hadoop之間轉(zhuǎn)移數(shù)據(jù)。

8.Flume（日志收集工具）

Cloudera開源的日志收集系統(tǒng)，具有分布式、高可靠、高容錯、易于定制和擴展的特點。

它將數(shù)據(jù)從產(chǎn)生、傳輸、處理并最終寫入目標(biāo)的路徑的過程抽象為數(shù)據(jù)流，在具體的數(shù)據(jù)流中，數(shù)據(jù)源支持在Flume中定制數(shù)據(jù)發(fā)送方，從而支持收集各種不同協(xié)議數(shù)據(jù)。

同時，F(xiàn)lume數(shù)據(jù)流提供對日志數(shù)據(jù)進(jìn)行簡單處理的能力，如過濾、格式轉(zhuǎn)換等。此外，F(xiàn)lume還具有能夠?qū)⑷罩緦懲鞣N數(shù)據(jù)目標(biāo)（可定制）的能力。

總的來說，F(xiàn)lume是一個可擴展、適合復(fù)雜環(huán)境的海量日志收集系統(tǒng)。當(dāng)然也可以用于收集其他類型數(shù)據(jù)

9. Oozie(工作流調(diào)度器）

Oozie是一個可擴展的工作體系，集成于Hadoop的堆棧，用于協(xié)調(diào)多個MapReduce作業(yè)的執(zhí)行。它能夠管理一個復(fù)雜的系統(tǒng)，基于外部事件來執(zhí)行，外部事件包括數(shù)據(jù)的定時和數(shù)據(jù)的出現(xiàn)。

Oozie工作流是放置在控制依賴DAG（有向無環(huán)圖 DirectAcyclic Graph）中的一組動作（例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等），其中指定了動作執(zhí)行的順序。

Oozie使用hPDL（一種XML流程定義語言）來描述這個圖。

 

10. Yarn(分布式資源管理器）

YARN是下一代MapReduce，即MRv2，是在第一代MapReduce基礎(chǔ)上演變而來的，主要是為了解決原始Hadoop擴展性較差，不支持多計算框架而提出的。

yarn是下一代 Hadoop 計算平臺，yarn是一個通用的運行時框架，用戶可以編寫自己的計算框架，在該運行環(huán)境中運行。

用于自己編寫的框架作為客戶端的一個lib，在運用提交作業(yè)時打包即可。該框架為提供了以下幾個組件：

• 資源管理：包括應(yīng)用程序管理和機器資源管理

• 資源雙層調(diào)度

• 容錯性：各個組件均有考慮容錯性

• 擴展性：可擴展到上萬個節(jié)點

• 內(nèi)存DAG計算模型)

Spark是一個Apache項目，它被標(biāo)榜為“快如閃電的集群計算”。它擁有一個繁榮的開源社區(qū)，并且是目前最活躍的Apache項目。

最早Spark是UC BerkeleyAMP lab所開源的類Hadoop MapReduce的通用的并行計算框架。

Spark提供了一個更快、更通用的數(shù)據(jù)處理平臺。和Hadoop相比，Spark可以讓你的程序在內(nèi)存中運行時速度提升100倍，或者在磁盤上運行時速度提升10倍

12. Kafka（分布式消息隊列）

Kafka是Linkedin于2010年12月份開源的消息系統(tǒng)，它主要用于處理活躍的流式數(shù)據(jù)。

活躍的流式數(shù)據(jù)在web網(wǎng)站應(yīng)用中非常常見，這些數(shù)據(jù)包括網(wǎng)站的pv、用戶訪問了什么內(nèi)容，搜索了什么內(nèi)容等。

這些數(shù)據(jù)通常以日志的形式記錄下來，然后每隔一段時間進(jìn)行一次統(tǒng)計處理。

13.Ambari（安裝部署配置管理工具）

Apache Ambari 的作用來說，就是創(chuàng)建、管理、監(jiān)視 Hadoop 的集群，是為了讓 Hadoop 以及相關(guān)的大數(shù)據(jù)軟件更容易使用的一個web工具。

分享標(biāo)題：HADOOP生態(tài)圈知識概述
本文路徑：http://sd-ha.com/article38/josdpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、手機網(wǎng)站建設(shè)、電子商務(wù)、虛擬主機、動態(tài)網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)