国产激情自拍_国产9色视频_丁香花在线电影小说观看 _久久久久国产精品嫩草影院

首頁 > 數據庫 > 文庫 > 正文

hive函數簡介

2020-10-29 21:47:20
字體:
來源:轉載
供稿:網友

首先我們要知道hive到底是做什么的。下面這幾段文字很好的描述了hive的特性: 

 1.hive是基于Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供完整的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。

  2.Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具,可以用來進行數據提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟悉 SQL 的用戶查詢數據。同時,這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的復雜的分析工作。

  要理解hive,必須先理解hadoop和mapreduce,如果有不熟悉的童鞋,可以百度一下。

  使用hive的命令行接口,感覺很像操作關系數據庫,但是hive和關系數據庫還是有很大的不同,下面我就比較下hive與關系數據庫的區別,具體如下:

1.hive和關系數據庫存儲文件的系統不同,hive使用的是hadoop的HDFS(hadoop的分布式文件系統),關系數據庫則是服務器本地的文件系統;

2.hive使用的計算模型是mapreduce,而關系數據庫則是自己設計的計算模型;

3.關系數據庫都是為實時查詢的業務進行設計的,而hive則是為海量數據做數據挖掘設計的,實時性很差;實時性的區別導致hive的應用場景和關系數據庫有很大的不同;

4.Hive很容易擴展自己的存儲能力和計算能力,這個是繼承hadoop的,而關系數據庫在這個方面要比數據庫差很多。

  以上都是從宏觀的角度比較hive和關系數據庫的區別,hive和關系數據庫的異同還有很多,我在文章的后面會一一描述。

  下面我來講講hive的技術架構,大家先看下面的架構圖: 

  由上圖可知,hadoop和mapreduce是hive架構的根基。Hive架構包括如下組件:CLI(command line interface)、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor),這些組件我可以分為兩大類:服務端組件和客戶端組件。

   首先講講服務端組件:

  Driver組件:該組件包括Complier、Optimizer和Executor,它的作用是將我們寫的HiveQL(類SQL)語句進行解析、編譯優化,生成執行計劃,然后調用底層的mapreduce計算框架。

  Metastore組件:元數據服務組件,這個組件存儲hive的元數據,hive的元數據存儲在關系數據庫里,hive支持的關系數據庫有derby、mysql。元數據對于hive十分重要,因此hive支持把metastore服務獨立出來,安裝到遠程的服務器集群里,從而解耦hive服務和metastore服務,保證hive運行的健壯性,這個方面的知識,我會在后面的metastore小節里做詳細的講解。

  Thrift服務:thrift是facebook開發的一個軟件框架,它用來進行可擴展且跨語言的服務的開發,hive集成了該服務,能讓不同的編程語言調用hive的接口。

  客戶端組件:

  CLI:command line interface,命令行接口。

  Thrift客戶端:上面的架構圖里沒有寫上Thrift客戶端,但是hive架構的許多客戶端接口是建立在thrift客戶端之上,包括JDBC和ODBC接口。

  WEBGUI:hive客戶端提供了一種通過網頁的方式訪問hive所提供的服務。這個接口對應hive的hwi組件(hive web interface),使用前要啟動hwi服務。

  下面我著重講講metastore組件,具體如下:

  Hive的metastore組件是hive元數據集中存放地。Metastore組件包括兩個部分:metastore服務和后臺數據的存儲。后臺數據存儲的介質就是關系數據庫,例如hive默認的嵌入式磁盤數據庫derby,還有mysql數據庫。Metastore服務是建立在后臺數據存儲介質之上,并且可以和hive服務進行交互的服務組件,默認情況下,metastore服務和hive服務是安裝在一起的,運行在同一個進程當中。我也可以把metastore服務從hive服務里剝離出來,metastore獨立安裝在一個集群里,hive遠程調用metastore服務,這樣我們可以把元數據這一層放到防火墻之后,客戶端訪問hive服務,就可以連接到元數據這一層,從而提供了更好的管理性和安全保障。使用遠程的metastore服務,可以讓metastore服務和hive服務運行在不同的進程里,這樣也保證了hive的穩定性,提升了hive服務的效率。

  Hive的執行流程如下圖所示:

圖描述的很清晰了,我這里就不在累述了。

下面我給大家展示一個簡單的例子,看看hive是怎么操作的。

首先我們創建一個普通的文本文件,里面只有一行數據,該行也只存儲一個字符串,命令如下:

echo ‘sharpxiajun' > /home/hadoop/test.txt

然后我們建一張hive的表:

hive 国产激情自拍_国产9色视频_丁香花在线电影小说观看
_久久久久国产精品嫩草影院

丁香花高清在线观看完整版| 黄色片av在线| 国产成人精品男人的天堂538| www.色五月| 超碰97在线免费观看| 永久免费在线观看| 四虎精品视频| 欧美午夜电影一区二区三区| 九九99九九精彩| 国产网红在线| av高清在线| 男人天堂99| 日本中文字幕视频在线| 国产精品自拍亚洲| 国产激情二区| 免费一区二区三区视频狠狠| 国产香蕉尹人视频在线| 亚洲尤物在线视频| 国产伦精品一区二区三区高清版禁 | 在线观看精品一区二区三区| 女同一区二区免费aⅴ| 国产欧美日韩精品综合| 天天激情综合| 精品久久av| 中文字幕乱在线伦视频乱在线伦视频 | 国产a国产a国产a| 亚洲精品在线播放视频| 最近中文字幕在线中文视频| 国产夫妻视频| 亚洲精品在线视频免费| 国产视频青青| 国产69精品久久久久孕妇国产69久久| 国产精品69一区二区三区| 美女免费视频黄| 亚洲人av在线| 伊人免费视频| 91欧洲在线视精品在亚洲| 国产三级在线观看| 九七电影韩国女主播在线观看| 精品偷拍激情视频在线观看| 国产写真视频在线观看| 国产网站av| 国产理论片免费观看| 麻豆精品永久免费视频| 日本欧美在线视频免费观看| 91精品专区| 国产爆初菊在线观看免费视频网站 | 牛牛精品视频在线| 在线国产三级| 日本精品一区二区三区在线播放| 九九热免费在线视频| 欧美日韩亚洲国内综合网| 2018中文字幕在线观看| 麻豆福利在线观看| 国产精选在线观看| 尤物网在线观看| 午夜视频在线看| 中文字幕人成高视频| 国产免费麻豆视频| 最近中文字幕mv2018在线高清| 国自产拍在线网站网址视频| 欧美日韩**字幕一区| 久久久久久久久久久久久91| 国产农村一级特黄α**毛片| 国产黄色在线网站| 91香蕉视频免费在线观看| 天堂在线国产| 国产精品一二三区视频| 精精国产xxxx视频在线中文版| 在线中文资源天堂| 国产美女性感在线观看懂色av| 高清视频一区二区三区四区| 国产黄色片中文字幕| 日本高清不卡中文字幕| 超碰在线人人| 国产馆av播放| 日本片在线看| 午夜视频99| 先锋av资源网| 综合蜜桃精品| а√最新版地址在线天堂| 国产深夜福利| 狠狠综合久久久综合| 97一区二区三区| 国产中文字幕在线| 亚洲最新永久在线观看| 国产精品日日爱| 国产免费专区| 天天干天天操天天爽| 国产日产一区二区| 国产在线观看91| 中文国产字幕在线观看| 国产精品臀控福利在线观看| www.久草.com| 亚洲综合在线不卡| 91精品国产高久久久久久五月天| 国产免费福利| 天堂中文在线视频| 夜夜操com| 中文在线官网天堂| 国产高清在线视频| 国产精品69xx| 精品国产一区二区三区久久久狼牙| 国产系列在线观看| 尤物视频网站在线观看| 国产精品亚洲第五区在线| 夜夜爽夜夜操| 亚洲欧洲成人| 啪啪免费视频一区| 国产免费网址| 国产一级黄色片免费| 高潮白浆视频| 中文字幕在线视频不卡| 国产视频二区| 国产精品扒开做爽爽爽的视频| 中文字幕在线视频免费观看| 尤物视频在线观看| 国产精品美女一区二区三区四区| 国产亚洲精品拍拍拍拍拍| 国产导航在线| 四虎影院成人| 成年人在线观看| 国产三区视频在线观看| 在线成人一区| 成年网在线观看免费观看网址| 国产网红在线| eeuss影院www在线播放| 中文字幕有码在线视频| 国产导航在线| 蜜桃视频中文字幕| 国产精品视频一区二区免费不卡| 伊人中文在线| 国产精品一区二区三区四区色 | 国产色a在线观看| 香蕉视频网站在线播放| 免费在线播放av| 国产一级免费在线观看| av男人的天堂网| 国产精品jvid在线观看| 超碰在线97国产| 亚洲视频在线网| 国产日产一区二区三区| 久久精品国产亚洲a∨麻豆| 91最新在线| 国产无遮挡在线视频免费观看| 天堂中文在线观看| 国产视频中文字幕| 国产中文字幕在线| 尤物在线视频观看| 国产一级激情| 开心丁香婷婷深爱五月| 亚洲综合在线不卡| 国产传媒在线播放| 国产一二三区在线视频| 国产在线观看18| 九九热视频免费在线观看| 天天操中文字幕视频| 6699久久国产精品免费| 国产精品免费麻豆入口| 日韩av成人| 国产美女性感在线观看懂色av| 人人九九精品| 亚洲精品午夜级久久久久| 精品入口蜜桃| 中文av资源在线| 国产91在线视频蝌蚪| 国产深夜视频在线观看| 国产一二区视频| 国产精品伦一区二区三区视频 | 天堂在线亚洲| 国产美女高潮一区二区三区| 免费黄网站在线观看| 免费av在线| 成年人在线观看| 国产区在线视频| 国产成人无吗| av在线1区2区| 老鸭窝av在线| 最近最好的中文字幕2019免费| 导航福利在线| 国产精品久久久久一区二区国产| 91午夜视频| 欧美精品se| 国产一二三区精品视频| 在线中文字幕观看| www.av在线播放| 中文字幕乱在线伦视频乱在线伦视频 | 国产精品久久人| 夜夜操天天干| 另类专区欧美| 国产成人综合亚洲欧美在| 天堂√中文在线| 国产精品一区二区三区视频网站 | 夜夜操com| 国产免费自拍视频| 国产精品久久麻豆| 麻豆精品视频入口| 精品一区二区观看| 国产麻豆视频| av福利在线播放|