如何進行spark SQL編程動手實戰(zhàn),相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。
為周寧等地區(qū)用戶提供了全套網頁設計制作服務,及周寧網站建設行業(yè)解決方案。主營業(yè)務為成都網站設計、成都做網站、周寧網站設計,以傳統(tǒng)方式定制建設網站,并提供域名空間備案等一條龍服務,秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
首先創(chuàng)建SparkContext上下文:
接著引入隱身轉換,用于把RDD轉成SchemaRDD:
接下來要加載數(shù)據(jù),這里的測試數(shù)據(jù)是user.txt文件:
我們創(chuàng)建好use.txt增加內容并上傳到hdfs中:
hdfs命令查詢:
驗證數(shù)據(jù)是否加載成功:
此刻user還是一個MappedRDD:
此刻的teenagers已經隱身轉換成SchemaRDD
結果:
同樣使用"user.txt"的數(shù)據(jù):
我們這次直接使用SQL查詢操作:
可以發(fā)現(xiàn)使用DSL的使用teenagers在內部已經被隱身轉換了SchemaRDD的實例
可以發(fā)現(xiàn)與前面那張注冊Table方式的結果是一樣的
看完上述內容,你們掌握如何進行spark SQL編程動手實戰(zhàn)的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝各位的閱讀!
標題名稱:如何進行sparkSQL編程動手實戰(zhàn)
當前URL:http://sd-ha.com/article26/ggidjg.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供企業(yè)建站、全網營銷推廣、ChatGPT、營銷型網站建設、網站設計公司、標簽優(yōu)化
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)