Spark 是繼 Hadoop 之后新一代的大數(shù)據(jù)分布式處理平臺。它是一個基于內(nèi)存、容錯型的分布式計算引擎，與 Hadoop MapReduce 相比，計算速度要快100倍。 Spark 卓越的用戶體驗以及統(tǒng)一的技術(shù)堆棧基本上解決了大數(shù)據(jù)領(lǐng)域所有的核心問題，使得 Spark 迅速成為當(dāng)前最為熱門的大數(shù)據(jù)基礎(chǔ)平臺。 除此之外，青云 QingCloud 提供的 Spark 還包括在線伸縮、監(jiān)控和告警等功能，幫助您更好地管理集群。更多詳情請參看“ Spark 服務(wù)指南”。

集成 HDFS

青云 QingCloud 既提供純計算引擎的 Spark 集群，也提供和 Hadoop HDFS 集成的 Spark 集群。在創(chuàng)建 Spark 時可以選擇是否集成 Hadoop HDFS。

在線伸縮

青云的 Spark 集群支持橫向與縱向的在線伸縮， 而且橫向伸縮時，用戶的業(yè)務(wù)連續(xù)性不會中斷。

實時監(jiān)控

青云提供了 Spark 節(jié)點的主機(jī)的監(jiān)控信息，服務(wù)、應(yīng)用級別的監(jiān)控由 Spark、Hadoop 提供。 對主機(jī)的監(jiān)控包括如下監(jiān)控項：

• CPU
• 內(nèi)存
• 硬盤使用率
• 硬盤 IOPS
• 硬盤吞吐量

監(jiān)控告警

Spark 的監(jiān)控告警策略會監(jiān)控 Spark 節(jié)點，包括如下監(jiān)控項：

• CPU：CPU 使用百分比
• 內(nèi)存：內(nèi)存使用百分比
• 硬盤：硬盤使用百分比

測試

Spark 創(chuàng)建完成之后可以測試其可用性。具體測試方法請參看“文檔”。