為了進(jìn)一步完善大數(shù)據(jù)平臺(tái)，企業(yè)級(jí)基礎(chǔ)云服務(wù)商青云QingCloud（qingcloud.com）日前宣布新增分布式實(shí)時(shí)計(jì)算系統(tǒng)Storm和基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具Hive，這是繼月初推出Elasticsearch全文搜索引擎服務(wù)后QingCloud推出的又一重要功能。隨著數(shù)據(jù)在企業(yè)商業(yè)決策和產(chǎn)品功能中起到的作用越來(lái)越重要，大數(shù)據(jù)技術(shù)正在越來(lái)越多的企業(yè)中發(fā)揮出更大價(jià)值。QingCloud正在不斷完善大數(shù)據(jù)平臺(tái)，幫助用戶降低技術(shù)門(mén)檻。目前，兩個(gè)新功能已經(jīng)分別在QingCloud控制臺(tái)的大數(shù)據(jù)平臺(tái)和映像市場(chǎng)上線。

QingCloud Storm功能上線

Storm是一個(gè)開(kāi)源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，通常被比作＂實(shí)時(shí)的Hadoop＂。Storm為實(shí)時(shí)計(jì)算提供了一些簡(jiǎn)單優(yōu)美的原語(yǔ)，支持多種編程語(yǔ)言，并內(nèi)建流式窗口API及分布式緩存API，極大簡(jiǎn)化了流式數(shù)據(jù)處理過(guò)程。Storm不僅高可靠、易擴(kuò)展，而且處理速度極快，每個(gè)計(jì)算節(jié)點(diǎn)每秒能處理上百萬(wàn)條元組信息（Tuple），因此常被用于實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、連續(xù)計(jì)算、分布式RPC、ETL等。QingCloud提供的Storm 集群采用Master/Slave 架構(gòu)，提供了在線伸縮、監(jiān)控告警等功能，幫助用戶更好地管理集群。

QingCloud Storm集群架構(gòu)圖

通常包括Storm在內(nèi)的大數(shù)據(jù)平臺(tái)的運(yùn)維都是非常繁瑣的，但在QingCloud上，用戶可以在２到３分鐘創(chuàng)建一個(gè)Storm集群。集群支持橫向與縱向在線伸縮，還提供了監(jiān)控告警等功能，使得管理集群異常方便。集群運(yùn)行于100%二層隔離的私有網(wǎng)絡(luò)內(nèi)，結(jié)合QingCloud提供的高性能硬盤(pán)，在保障高性能的同時(shí)兼顧用戶的數(shù)據(jù)安全。

QingCloud Hive服務(wù)架構(gòu)圖

Hive是基于Hadoop的一個(gè)主流的針對(duì)海量數(shù)據(jù)做離線分析的數(shù)據(jù)倉(cāng)庫(kù)，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)潔的類SQL(稱為HQL)查詢功能，將HQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)后運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可通過(guò)HQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，大部分場(chǎng)景不必開(kāi)發(fā)專門(mén)的MapReduce應(yīng)用，十分適合基于數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。另外，也可通過(guò)MapReduce開(kāi)發(fā)擴(kuò)展新功能函數(shù)。

QingCloud提供的Hive映像包含了Hive Client和Hive Server的所有功能。用戶在Hive Client端發(fā)起HQL任務(wù)，通過(guò)Hive Server實(shí)現(xiàn)HQL到 MapReduce 任務(wù)的轉(zhuǎn)換，然后調(diào)用 Hadoop 集群執(zhí)行。在 QingCloud 上，用戶可以在２到３分鐘內(nèi)創(chuàng)建一個(gè)Hive服務(wù)，并完成與其他大數(shù)據(jù)集群連接的配置。Hive服務(wù)支持縱向在線伸縮， 提供了監(jiān)控告警等功能，使得服務(wù)管理非常方便。

青云QingCloud CTO 甘泉（Reno Gan）表示：“Storm、Hive 服務(wù)的推出標(biāo)志著 QingCloud 大數(shù)據(jù)基礎(chǔ)平臺(tái)的進(jìn)一步完善，結(jié)合已經(jīng)推出的Spark、Hadoop、ZooKeeper、消息隊(duì)列（Kafka）、Elasticsearch 等服務(wù)，QingCloud 的大數(shù)據(jù)平臺(tái)服務(wù)已經(jīng)能夠滿足用戶的各種需求。很快我們還將會(huì)上線 HBase 存儲(chǔ)集群服務(wù)，提升整個(gè)大數(shù)據(jù)生命周期使用效率的各類平臺(tái)管理服務(wù)——包括但不限于日志服務(wù)、計(jì)算引擎靈活切換、對(duì)象存儲(chǔ)集成、服務(wù)編排等，以及基于主流機(jī)器學(xué)習(xí)平臺(tái)的智能分析服務(wù)。此外，全新的容器技術(shù)將會(huì)大幅度提升大數(shù)據(jù)平臺(tái)的整體性能?！?/p>