這篇文章主要為大家展示了“hive文件存儲(chǔ)格式有哪些”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hive文件存儲(chǔ)格式有哪些”這篇文章吧。

扎囊ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

Hive文件存儲(chǔ)格式的測(cè)試比較  

1.textfile
textfile為默認(rèn)格式
存儲(chǔ)方式：行存儲(chǔ)
磁盤開銷大 數(shù)據(jù)解析開銷大
壓縮的text文件 hive無(wú)法進(jìn)行合并和拆分

2.sequencefile
二進(jìn)制文件,以<key,value>的形式序列化到文件中
存儲(chǔ)方式：行存儲(chǔ)
可分割 壓縮
一般選擇block壓縮
優(yōu)勢(shì)是文件和hadoop api中的mapfile是相互兼容的。

3.rcfile
存儲(chǔ)方式：數(shù)據(jù)按行分塊 每塊按照列存儲(chǔ)
壓縮快 快速列存取
讀記錄盡量涉及到的block最少
讀取需要的列只需要讀取每個(gè)row group 的頭部定義。
讀取全量數(shù)據(jù)的操作 性能可能比sequencefile沒(méi)有明顯的優(yōu)勢(shì)

4.orc

存儲(chǔ)方式：數(shù)據(jù)按行分塊 每塊按照列存儲(chǔ)

壓縮快 快速列存取

效率比rcfile高,是rcfile的改良版本

5.自定義格式
用戶可以通過(guò)實(shí)現(xiàn)inputformat和 outputformat來(lái)自定義輸入輸出格式。

總結(jié)：
textfile 存儲(chǔ)空間消耗比較大，并且壓縮的text 無(wú)法分割和合并 查詢的效率最低,可以直接存儲(chǔ)，加載數(shù)據(jù)的速度最高
sequencefile 存儲(chǔ)空間消耗最大,壓縮的文件可以分割和合并 查詢效率高，需要通過(guò)text文件轉(zhuǎn)化來(lái)加載
rcfile 存儲(chǔ)空間最小，查詢的效率最高 ，需要通過(guò)text文件轉(zhuǎn)化來(lái)加載，加載的速度最低

 個(gè)人建議：text,seqfile能不用就盡量不要用  最好是選擇orc

以上是“hive文件存儲(chǔ)格式有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前題目：hive文件存儲(chǔ)格式有哪些
文章網(wǎng)址：http://sd-ha.com/article14/jsjcde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、虛擬主機(jī)、標(biāo)簽優(yōu)化、網(wǎng)站建設(shè)、服務(wù)器托管、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)