上一篇博文已經(jīng)介紹了搭建scala的開發(fā)環(huán)境，現(xiàn)在進入正題。如何開發(fā)我們的第一個spark程序。

專注于為中小企業(yè)提供成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)保亭黎族免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了數(shù)千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

1. 下載spark安裝包，下載地址http://spark.apache.org/downloads.html（因為開發(fā)環(huán)境需要引用spark的jar包）

   我下載的是spark-2.1.0-bin-hadoop2.6.tgz，因為我的scalaIDE版本是scala-SDK-4.5.0-vfinal-2.11-win32.win32.x86_64.zip

   最好，IDE版本和spark版本要匹配，否則，開發(fā)程序的時候，可能會包引用的jar包錯誤等等。

2. new 一個 scala project，然后new 一個 scala object

   

代碼如下：

package com.test

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
 
 /**
  * 統(tǒng)計字符出現(xiàn)次數(shù)
  */
 object WordCount {
   def main(args: Array[String]) {
     if (args.length < 1) {
       System.err.println("Usage: <file>")
       System.exit(1)
     }
 
     val conf = new SparkConf();//創(chuàng)建SparkConf對象
     conf.setAppName("Wow,My First Spark Programe");//設(shè)置應(yīng)用程序的名稱，在程序運行的監(jiān)
     conf.setMaster("local")//此時，程序在本地運行，不需要安裝Spark集群

     val sc = new SparkContext(conf);//創(chuàng)建SparkContext對象，通過傳入SparkConf實例
//     val lines = sc.textFile(args(0));
     val lines = sc.textFile(args(0));
     val words = lines.flatMap{line => line.split(" ")};//對每一行的字符串進行單詞拆
     val pairs = words.map{word => (word,1)};
    
     val wordCounts = pairs.reduceByKey(_+_);//對相同的Key，進行Value的累計（包括Local和Reducer級別同時Reduce）
 //    val wordCounts = pairs.reduce((x,y)=>(x.));
     wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " +wordNumberPair));
     
 
//     line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreach(println)
 
     sc.stop()
   }
 }

3.配置JDK1.8 和引入spark jar包

spark的jar包是 spark安裝包解壓之后jars目錄里面的jar包，可以把這個目錄下面的所有jar包都引入工程

4.run Configurations,配置運行入?yún)ⅲ?/p>

因為 這個代碼是讀入一個文本，在hadoop文件系統(tǒng)，可以spark-submit的時候傳入這個參數(shù)，在windows 本地開發(fā)環(huán)境可以在eclipse里面配置這個參數(shù)，見下面的圖

val lines = sc.textFile(args(0));

4.入?yún)⑽谋炯斑\行結(jié)果

入?yún)⑽谋荆?/p>

run scala Application運行結(jié)果

ok,開發(fā)環(huán)境搭建完畢。

分享名稱：搭建scala開發(fā)spark程序環(huán)境及實例演示
標題網(wǎng)址：http://sd-ha.com/article32/ggchsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、企業(yè)網(wǎng)站制作、網(wǎng)站制作、網(wǎng)站收錄、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)