簡化集群管理 青云QingCloud推出ZooKeeper和消息隊列服務
北京,2015年5月25日——
企業(yè)級基礎云服務青云QingCloud日前宣布推出ZooKeeper集群管理服務和消息隊列(Message Queue)服務。ZooKeeper是分布式系統中最基本的組件,能夠協調管理分布式應用;消息隊列服務是為了緩解消息的生產和消費之間的不對等,而在兩者之間加的一層緩沖區(qū),目前支持Kafka。這兩項服務的推出能夠最大限度的降低分布式系統的運維難度,幫助企業(yè)用戶降低部署大數據業(yè)務的技術門檻。
青云QingCloud是全球首家將ZooKeeper作為單獨服務提供給用戶的云服務商。通過ZooKeeper,分布式應用能夠獲得狀態(tài)同步、配置管理、名稱服務、群組服務、分布式鎖及隊列、以及Leader選舉等服務。ZooKeeper是分布式系統的大腦,用戶通過它能夠協調和管理Hadoop、Spark、Storm、Kafka以及自主開發(fā)的分布式應用。將ZooKeeper作為一項單獨的服務提供給用戶,而不是捆綁在某一應用上對外提供服務,有助于用戶發(fā)揮想象力,靈活使用ZooKeeper,實現業(yè)務層面的創(chuàng)新。
QingCloud提供的ZooKeeper服務有如下優(yōu)勢:
·在線伸縮:青云QingCloud提供的ZooKeeper集群具有真正意義上的橫向、縱向在線伸縮能力,即ZooKeeper的在線伸縮對客戶端是透明的,用戶業(yè)務的連續(xù)性不會因此而中斷。后續(xù)還會配合AutoScaling,達到ZooKeeper集群自動伸縮的效果。
·自我診斷和自我修復:系統會自動監(jiān)測ZooKeeper集群的可用性,一旦發(fā)現故障就會啟動自動修復功能,集群可在秒級內自動恢復,無需人為干預。
·監(jiān)控告警:QingCloud ZooKeeper集群提供了豐富的監(jiān)控服務,既包括CPU使用率、內存使用率、硬盤使用率、硬盤IOPS、硬盤吞吐量等資源監(jiān)控,又包括針對ZooKeeper服務的特定監(jiān)控項。除此之外,ZooKeeper服務還可以設置告警策略,超出閾值時發(fā)出告警,并向用戶發(fā)送短信和郵件通知。
·安全性:ZooKeeper集群運行于QingCloud私有網絡中,結合高性能硬盤,在保障高性能的同時兼顧用戶的數據安全。
此外,最新推出的Kafka消息隊列服務具有分布式、可分區(qū)、多副本的特性,主要用于處理活躍的流式數據,比如網頁的訪問量、日志等,能夠實時或離線處理大量數據。跟傳統的消息隊列系統如RabbitMQ、ActiveMQ相比,Kafka具有高吞吐、低延遲等優(yōu)勢,已成為大數據處理平臺中的常用組件。
與ZooKeeper集群管理服務類似,QingCloud Kafka消息隊列服務同樣具有在線伸縮的能力,且消息的發(fā)送和消費不會因為伸縮過程而中斷;以及豐富的監(jiān)控告警功能,減輕運維壓力;Kafka各組件之間能夠部署靈活的網絡拓撲,即消息的Producer、Broker、Consumer以及ZooKeeper可以在不同的網絡里。另外,QingCloud還提供了靈活的配置管理,允許用戶自行定制Kafka集群。
青云QingCloud首席架構師林源表示,此次發(fā)布的ZooKeeper集群管理服務和消息隊列服務是大數據平臺的基礎,為QingCloud即將推出的大數據服務提供支持。QingCloud預計在7月份會推出Hadoop服務,包括HDFS、MapReduce和HBase等基礎組件,未來還會推出Spark和Storm等實時大數據服務。