国产成+人+综合+亚洲 欧美-国产成+人+综合+亚洲专-国产成+人欧美+综合在线观看-国产成a人片在线观看视频-国产成a人片在线观看视频99-国产成a人片在线观看视频下载

您現(xiàn)在所在的位置:首頁 >學習資源 > JAVA入門教材 > 大數(shù)據(jù)基礎(chǔ)架構(gòu)總結(jié)

大數(shù)據(jù)基礎(chǔ)架構(gòu)總結(jié)

來源:奇酷教育 發(fā)表于:

大數(shù)據(jù)出現(xiàn)的原因:大多數(shù)的技術(shù)突破來源于實際的產(chǎn)品需要,大數(shù)據(jù)最初誕生于谷歌的搜索引擎中。隨著web2 0時代的發(fā)展,互聯(lián)網(wǎng)上數(shù)據(jù)量呈獻

大數(shù)據(jù)出現(xiàn)的原因:

 

大多數(shù)的技術(shù)突破來源于實際的產(chǎn)品需要,大數(shù)據(jù)最初誕生于谷歌的搜索引擎中。隨著web2.0時代的發(fā)展,互聯(lián)網(wǎng)上數(shù)據(jù)量呈獻爆炸式的增長,為了滿足信息搜索的需要,對大規(guī)模數(shù)據(jù)的存儲提出了非常強勁的需要。基于成本的考慮,通過提升硬件來解決大批量數(shù)據(jù)的搜索越來越不切實際,于是谷歌提出了一種基于軟件的可靠文件存儲體系GFS,使用普通的PC機來并行支撐大規(guī)模的存儲。存進去的數(shù)據(jù)是低價值的,只有對數(shù)據(jù)進行過加工才能滿足實際的應用需要,于是谷歌又創(chuàng)造了MapReduce這一計算模型,該模型能夠利用集群的力量將復雜的運算拆分到每一臺普通PC上,計算完成后通過匯總得到最終的計算結(jié)果,這樣就能夠通過直接增加機器數(shù)量就獲得更好的運算能力了。

有了GFS和MapReduce之后,文件的存儲和運算得到了解決,這時候又出現(xiàn)了新的問題。GFS的隨機讀寫能力很差,而谷歌有需要一種來存放格式化數(shù)據(jù)的數(shù)據(jù)庫,原本通過單機的數(shù)據(jù)庫就能解決的問題到了谷歌那里就悲劇了,于是神器的谷歌就又開發(fā)了一套BigTable系統(tǒng),利用GFS的文件存儲系統(tǒng)外加一個分布式的鎖管理系統(tǒng)Chubby就設(shè)計出來了BigTable這樣一個列式的數(shù)據(jù)庫系統(tǒng)。

 

在谷歌完成了上述的系統(tǒng)后,就把其中的思想作為論文發(fā)布出來了,基于這些論文,出現(xiàn)了一個用JAVA寫的類GFS開源項目Hadoop,最開始hadoop的贊助人是yahoo,后來這個項目成了Apche的頂級項目。

 

大數(shù)據(jù)的解決方案:

 

谷歌的那一套系統(tǒng)是閉源的,開源的Hadoop于是就廣泛傳播開來了。

和谷歌那套系統(tǒng)類似,Hadoop的最核心的存儲層叫做HDFS,全稱是Hadoop文件存儲系統(tǒng),有了存儲系統(tǒng)還要有分析系統(tǒng),于是就有了開源版本的MapReduce,類似的參照BigTable就有了Hbase。一開源之后整個系統(tǒng)用的人就多了,于是大家都像要各種各樣的特性。facebook的那些人覺得mapreduce程序太難寫,于是就開發(fā)了Hive,Hive就是一套能把SQL語句轉(zhuǎn)成Mapreduce的工具,有了這套工具只要你會SQL就可以來Hadoop上寫mapreduce程序分析數(shù)據(jù)了。對了,參考chubby,我們有了開源的ZooKeeper來作為分布式鎖服務(wù)的提供者。

 

由于Hadoop最開始設(shè)計是用來跑文件的,對于數(shù)據(jù)的批處理來說這沒什么問題,有一天突然大家想要一個實時的查詢服務(wù),數(shù)據(jù)這么大,要滿足實時查詢首先要拋開的是mapreduce,因為它真的好慢。2008年的時候一家叫Cloudera的公司出現(xiàn)了,他們的目標是要做hadoop界的redhat,把各種外圍系統(tǒng)打包進去組成一個完整的生態(tài)系統(tǒng),后來他們開發(fā)出來了impala,impala的速度比mapreduce在實時分析上的效率有了幾十倍的提升,后來hadoop的創(chuàng)始人Doug Cutting也加入了cloudera。這時候?qū)W院派也開始發(fā)力了,加州大學伯克利分校開發(fā)出來了Spark來做實時查詢處理,剛開始Spark的語法好詭異,后來慢慢出現(xiàn)了Shark項目,漸漸的使得Spark向SQL語法靠近。

 

未來的發(fā)展趨勢:

 

時代的發(fā)展決定了未來幾乎就要變成數(shù)據(jù)的時代了,在這樣的一個時代,大數(shù)據(jù)的需求越來越深,摒棄過去的抽樣調(diào)查,改為全量的統(tǒng)計分析,從一些原本無意義的數(shù)據(jù)中挖掘價值。當前大數(shù)據(jù)已經(jīng)開始逐漸服務(wù)于我們的生活,搜索、科學、用戶分析。。。

 

為了進一步提供大數(shù)據(jù)的分析能力,內(nèi)存計算的概念在未來還會持續(xù)很長的時間,通過內(nèi)存計算,摒棄磁盤IO對性能的天花板作用,將運算的結(jié)果以實時的方式呈獻在我們面前。

51La 主站蜘蛛池模板: 奇米影视大全 | 高清性色生活片久久久 | 精品一精品国产一级毛片 | 欧美成人交tv免费观看 | 欧美一区a | 亚洲天天更新 | 天天干天天拍天天操 | 黄色影院在线看 | 日韩久久精品视频 | 欧美国产精品日韩在线 | 猫咪www免费人成在线观看网址 | 国产成人乱码一区二区三区在线 | 老子午夜精品我不卡影院 | 曰曰鲁夜夜免费播放视频 | 伊人精品国产 | 久久精品国产99国产精品免费看 | 国产区久久 | 午夜免费福利影院 | 午夜精品久久久久久久90蜜桃 | 日本欧美视频在线 | 亚洲网在线观看 | 精品在线小视频 | 亚洲小视频在线 | 欧美日韩亚洲精品一区二区三区 | 久久99国产精品久久99 | 日韩欧美一区二区三区四区 | 国产高清美女一级a毛片久久w | 香蕉精品视频在线观看入口 | 亚洲人成网站色7799在线观看 | 午夜一级福利 | 99在线精品国产不卡在线观看 | 河南毛片| 深夜在线网站 | 国产一级影视 | 亚州毛片 | 国产免费播放一区二区 | 亚洲精品久久久久久久网站 | 在线亚洲精品 | 男人猛躁女人成人免费视频 | 免费看a网站 | 成人爽a毛片在线视频网站 成人爽视频 |