大數(shù)據(jù)中的Spark指的是什么？

Spark是一種通用的大數(shù)據(jù)計算框架，和傳統(tǒng)的大數(shù)據(jù)技術(shù)MapReduce有本質(zhì)區(qū)別。前者是基于內(nèi)存并行計算的框架，而mapreduce側(cè)重磁盤計算。Spark是加州大學(xué)伯克利分校AMP實驗室開發(fā)的通用內(nèi)存并行計算框架，用于構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

成都創(chuàng)新互聯(lián)公司是專業(yè)的達(dá)日網(wǎng)站建設(shè)公司，達(dá)日接單;提供做網(wǎng)站、成都網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行達(dá)日網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

Spark同樣支持離線計算和實時計算兩種模式。Spark離線計算速度要比Mapreduce快10-100倍。而實時計算方面，則依賴于SparkStreaming的批處理能力，吞吐量大。不過相比Storm，SparkStreaming并不能做到真正的實時。

Spark使用強(qiáng)大的函數(shù)式語言Scala開發(fā)，方便簡單。同時，它還提供了對Python、Java和R語言的支持。

作為大數(shù)據(jù)計算框架MapReduce的繼任者，Spark具備以下優(yōu)勢特性。

1，高效性

不同于MapReduce將中間計算結(jié)果放入磁盤中，Spark采用內(nèi)存存儲中間計算結(jié)果，減少了迭代運算的磁盤IO，并通過并行計算DAG圖的優(yōu)化，減少了不同任務(wù)之間的依賴，降低了延遲等待時間。內(nèi)存計算下，Spark 比 MapReduce 快100倍。

2，易用性

不同于MapReduce僅支持Map和Reduce兩種編程算子，Spark提供了超過80種不同的Transformation和Action算子，如map,reduce,filter,groupByKey,sortByKey,foreach等，并且采用函數(shù)式編程風(fēng)格，實現(xiàn)相同的功能需要的代碼量極大縮小。

3，通用性

Spark提供了統(tǒng)一的解決方案。Spark可以用于批處理、交互式查詢（Spark SQL）、實時流處理（Spark Streaming）、機(jī)器學(xué)習(xí)（Spark MLlib）和圖計算（GraphX）。

4，兼容性

Spark能夠跟很多開源工程兼容使用。如Spark可以使用Hadoop的YARN和Apache Mesos作為它的資源管理和調(diào)度器，并且Spark可以讀取多種數(shù)據(jù)源，如HDFS、HBase、MySQL等。

大數(shù)據(jù)處理為何選擇spark？

大數(shù)據(jù)處理為何選擇Spark，而不是Hadoop？

一、基礎(chǔ)知識

1、Spark

Spark是一個用來實現(xiàn)快速而通用的集群計算的平臺。

在速度方面，Spark擴(kuò)展了廣泛使用的MapReduce計算模型，而且高效地支持更多計算模式，包括交互式查詢和流處理。

Spark項目包含多個緊密集成的組件。Spark的核心是一個對由很多計算任務(wù)組成的、運行在多個工作機(jī)器或者是一個計算集群上的應(yīng)用進(jìn)行調(diào)度、分發(fā)以及監(jiān)控的計算引擎。

2、Hadoop

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。

Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。

很多初學(xué)者，對大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)扣扣群：740041381，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實戰(zhàn)實用學(xué)習(xí)流程體系。

二、大數(shù)據(jù)處理選擇

Spark和Hadoop都可以進(jìn)行大數(shù)據(jù)處理，那如何選擇處理平臺呢？

1.處理速度和性能

Spark擴(kuò)展了廣泛使用的MapReduce計算模型，支持循環(huán)數(shù)據(jù)流和內(nèi)存計算。

Hadoop進(jìn)行計算時，需要從磁盤讀或者寫數(shù)據(jù)，同時整個計算模型需要網(wǎng)絡(luò)傳輸，導(dǎo)致MapReduce具有高延遲的弱點。

據(jù)統(tǒng)計，基于Spark內(nèi)存的計算速度比Hadoop MapReduce快100倍以上，基于磁盤的計算速度也要快10倍以上。

2.開發(fā)難易度

Spark提供多語言(包括Scala、Java、Python)API，能夠快速實現(xiàn)應(yīng)用，相比MapReduce更簡潔的代碼，安裝部署也無需復(fù)雜配置。使用API可以輕松地構(gòu)建分布式應(yīng)用，同時也可以使用Scala和Python腳本進(jìn)行交互式編程。

科普Spark，Spark是什么，如何使用Spark

科普Spark，Spark是什么，如何使用Spark

1.Spark基于什么算法的分布式計算（很簡單）

2.Spark與MapReduce不同在什么地方

3.Spark為什么比Hadoop靈活

4.Spark局限是什么

5.什么情況下適合使用Spark

什么是Spark

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。其架構(gòu)如下圖所示：

Spark與Hadoop的對比

Spark的中間數(shù)據(jù)放到內(nèi)存中，對于迭代運算效率更高。

Spark更適合于迭代運算比較多的ML和DM運算。因為在Spark里面，有RDD的抽象概念。

Spark比Hadoop更通用

Spark提供的數(shù)據(jù)集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時還提供Count, collect, reduce, lookup, save等多種actions操作。

這些多種多樣的數(shù)據(jù)集操作類型，給給開發(fā)上層應(yīng)用的用戶提供了方便。各個處理節(jié)點之間的通信模型不再像Hadoop那樣就是唯一的Data Shuffle一種模式。用戶可以命名，物化，控制中間結(jié)果的存儲、分區(qū)等?？梢哉f編程模型比Hadoop更靈活。

不過由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合。

容錯性

在分布式數(shù)據(jù)集計算時通過checkpoint來實現(xiàn)容錯，而checkpoint有兩種方式，一個是checkpoint data，一個是logging the updates。用戶可以控制采用哪種方式來實現(xiàn)容錯。

可用性

Spark通過提供豐富的Scala, Java，Python API及交互式Shell來提高可用性。

Spark與Hadoop的結(jié)合

Spark可以直接對HDFS進(jìn)行數(shù)據(jù)的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運行于同集群中，共享存儲資源與計算，數(shù)據(jù)倉庫Shark實現(xiàn)上借用Hive，幾乎與Hive完全兼容。

Spark的適用場景

Spark是基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)據(jù)量小但是計算密集度較大的場合，受益就相對較小（大數(shù)據(jù)庫架構(gòu)中這是是否考慮使用Spark的重要因素）

由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合?？偟膩碚fSpark的適用面比較廣泛且比較通用。

運行模式

本地模式

Standalone模式

Mesoes模式

yarn模式

Spark生態(tài)系統(tǒng)

Shark ( Hive on Spark): Shark基本上就是在Spark的框架基礎(chǔ)上提供和Hive一樣的H iveQL命令接口，為了最大程度的保持和Hive的兼容性，Shark使用了Hive的API來實現(xiàn)query Parsing和 Logic Plan generation，最后的PhysicalPlan execution階段用Spark代替Hadoop MapReduce。通過配置Shark參數(shù)，Shark可以自動在內(nèi)存中緩存特定的RDD，實現(xiàn)數(shù)據(jù)重用，進(jìn)而加快特定數(shù)據(jù)集的檢索。同時，Shark通過UDF用戶自定義函數(shù)實現(xiàn)特定的數(shù)據(jù)分析學(xué)習(xí)算法，使得SQL數(shù)據(jù)查詢和運算分析能結(jié)合在一起，最大化RDD的重復(fù)使用。

Spark streaming: 構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分?jǐn)?shù)據(jù)。Spark Streaming構(gòu)建在Spark上，一方面是因為Spark的低延遲執(zhí)行引擎（100ms+）可以用于實時計算，另一方面相比基于Record的其它處理框架（如Storm），RDD數(shù)據(jù)集更容易做高效的容錯處理。此外小批量處理的方式使得它可以同時兼容批量和實時數(shù)據(jù)處理的邏輯和算法。方便了一些需要歷史數(shù)據(jù)和實時數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場合。

Bagel: Pregel on Spark，可以用Spark進(jìn)行圖計算，這是個非常有用的小項目。Bagel自帶了一個例子，實現(xiàn)了Google的PageRank算法。

End.

spark用的多嗎

多。Spark支持JAVA等多種開發(fā)語言，支持Scala的API，支持多種高級算法，使用的用戶還是很多的，可以使用戶可以快速構(gòu)建不同的應(yīng)用。

分享文章：spark支持go語言 spark支持的語言
文章網(wǎng)址：http://sd-ha.com/article30/ddejppo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、移動網(wǎng)站建設(shè)、用戶體驗、標(biāo)簽優(yōu)化、營銷型網(wǎng)站建設(shè)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)