本篇內(nèi)容介紹了“hadoop工程包括哪些模塊”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)長期為超過千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為臥龍企業(yè)提供專業(yè)的網(wǎng)站設(shè)計制作、成都做網(wǎng)站，臥龍網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

    Apache Hadoop工程已發(fā)展成一個可靠的(reliable)，輕量的(scalable)，分布式計算(distributed computing)的開源軟件。
 
    Apach Hadoop軟件庫是一個允許用簡單的程序模型對大數(shù)據(jù)集進(jìn)行跨計算機(jī)群集的分布式處理的框架。它的目的(designed to)在于
將計算能力從單個服務(wù)器擴(kuò)充到成千上萬臺機(jī)器，每個機(jī)器都可以提供本地計算和存儲。比起依賴單個硬件提供高可用性，
這個庫實現(xiàn)了有目的性的檢測和處理應(yīng)用程序?qū)拥墓收?，因而在計算機(jī)群集上提供了非常高的可用**，單個硬件易于(prone to)
失敗!

    這個工程包括以下模塊：

• Hadoop Common: 支持其它Hadoop模塊的通用工具common utilities）.

• Hadoop Distributed File System (HDFS?): 在訪問應(yīng)用數(shù)據(jù)時提供高吞吐量(high-throughput)的一個分布式文件系統(tǒng)(distributed file system)

• Hadoop YARN: 作業(yè)調(diào)度和群集資源管理的框架

• Hadoop MapReduce: 基于YARN的大型數(shù)據(jù)集并發(fā)處理(parallel processing)系統(tǒng)

在Apache上其它和Hadoop有關(guān)聯(lián)的項目：

• Ambari?: 一個基于web的工具,配置(provisioning),管理(managing)和監(jiān)控,支持Apache Hadoop生態(tài)圈，包括Hadoop HDFS， Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig和Sqoop等. Ambari也提供簡潔的圖表去觀察群集的運行狀況，比如熱點圖(heatmaps)和用友好的用戶界面來提供監(jiān)測MapReduce, Pig and Hive 應(yīng)用的視覺特性并診斷其性能特性。

• Avro?: 一個數(shù)據(jù)序列化(serialization)系統(tǒng)

• Cassandra?: 一個沒有單點故障的輕量級的多主(multi-master)數(shù)據(jù)庫

• Chukwa?: 管理大型分布式系統(tǒng)的數(shù)據(jù)集系統(tǒng)

• HBase?: 一個為大型表提供結(jié)構(gòu)化數(shù)據(jù)存儲的輕量級的分布式數(shù)據(jù)庫bles.

• Hive?: 提供數(shù)據(jù)摘要和簡單查詢的數(shù)據(jù)倉庫工具

• Mahout?: 一個輕量級的機(jī)器學(xué)習(xí)(machine learning)和數(shù)據(jù)挖掘(data mining)庫

• Pig?: 一個并行parallel computation計算的高級(high-level)數(shù)據(jù)流語言和支持框架 .

• Spark?: Hadoop數(shù)據(jù)的一個快速通用的計算引擎(general compute engine). Spark是一個簡單和富有表現(xiàn)力的編程模型(expressive programming model)，它提供了大范圍的應(yīng)用，包括ETL，機(jī)器學(xué)習(xí)(machine learning),流水式處理( stream processing)和圖形計算(graph computation).

• Tez?: 一個構(gòu)建于Hadoop YARN的廣義數(shù)據(jù)流編程框架, 提供強(qiáng)大的,靈活的引擎去運行一個任意的DAG任務(wù)去處理批處理和交互用例的數(shù)據(jù). Tez最先被Hive，Pig和Hadoop生態(tài)系統(tǒng)上其它框架采用，也被其它商業(yè)軟件(如:ETL 工具),作為潛在的執(zhí)行引擎替換Hadoop MapReduce.

• ZooKeeper?: 一個高性能的分布式應(yīng)用協(xié)調(diào)服務(wù)(coordination service)

“hadoop工程包括哪些模塊”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

網(wǎng)頁標(biāo)題：hadoop工程包括哪些模塊
標(biāo)題路徑：http://sd-ha.com/article8/iedpip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、網(wǎng)站改版、做網(wǎng)站、品牌網(wǎng)站設(shè)計、全網(wǎng)營銷推廣、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)