青云QingCloud?推出?Inference Engine?推理引擎(詳情:http://1t.click/bbbH)。青云QingCloud?推理引擎作為?DeepLearning?深度學(xué)習(xí)平臺(tái)的重要組成部分,將通過?AppCenter?交付,一鍵云端部署,為用戶提供一站式的模型部署與推理方案。此外,青云QingCloud?推理引擎還提供了應(yīng)用全生命周期管理能力,包括創(chuàng)建、擴(kuò)容、監(jiān)控、健康監(jiān)測等,助力開發(fā)者快速擁有生產(chǎn)環(huán)境?AI?推理引擎。
訓(xùn)練和推理是機(jī)器/深度學(xué)習(xí)的兩個(gè)重要組成部分。AI?開發(fā)者通過各種深度學(xué)習(xí)框架,如?Tensorflow、PyTorch?等訓(xùn)練好模型后,將模型部署到生產(chǎn)環(huán)境,管理模型版本并提供API用于推理。成熟的推理產(chǎn)品除了要支持多種推理框架、多種加速器(CPU/GPU)之外,還需要支持諸如推理?API (HTTP/GPRC)?負(fù)載均衡、模型上傳、模型存儲(chǔ)、模型部署、水平/垂直伸縮、推理引擎日志/推理?API?訪問日志查看等諸多功能。
作為成熟的推理產(chǎn)品,青云QingCloud?此次推出的?Inference Engine?推理引擎,除了完全具備上述功能,還具備以下優(yōu)勢(shì):
主流推理框架:集成針對(duì)英特爾?CPU?優(yōu)化的?CPU?版?Tensorflow Serving,未來還將陸續(xù)支持?ONNX Runtime / OpenVINO?等主流推理框架,助力用戶快速部署機(jī)器/深度學(xué)習(xí)推理環(huán)境。
多種加速模式:支持使用?GPU?或僅使用?CPU?進(jìn)行機(jī)器/深度學(xué)習(xí)推理,同時(shí)可根據(jù)自身需求選擇單節(jié)點(diǎn)或分布式部署模式;其中,CPU 版基于第二代英特爾至強(qiáng)可擴(kuò)展處理器,采用了?Intel DeepLearning Boost VNNI?技術(shù),AI?推理性能與上一代型號(hào)?CPU?相?提升高達(dá)?100%?。
多種存儲(chǔ)方式:?支持本地磁盤存儲(chǔ)、對(duì)象存儲(chǔ)以及兼容?S3?協(xié)議的?MinIO?私有對(duì)象存儲(chǔ)等多種存儲(chǔ)方式存儲(chǔ)模型。集成對(duì)象存儲(chǔ)命令行工具,通過配置對(duì)象存儲(chǔ)相關(guān)參數(shù),可便捷地從對(duì)象存儲(chǔ)中獲取模型,完成推理。
多種部署方式:支持單模型服務(wù)節(jié)點(diǎn)+本地模型存儲(chǔ)、多模型服務(wù)節(jié)點(diǎn)+私有對(duì)象存儲(chǔ)模型庫?( MinIO?對(duì)象存儲(chǔ)?)、多模型服務(wù)節(jié)點(diǎn)+公有云對(duì)象存儲(chǔ)模型庫?( QingStor??對(duì)象存儲(chǔ)或其他兼容?S3?協(xié)議的公有云對(duì)象存儲(chǔ))?等多種部署方式。
青云QingCloud?運(yùn)營副總裁林源表示,Inference Engine?推理引擎對(duì)于圖像/語音識(shí)別、圖像分類和實(shí)時(shí)翻譯領(lǐng)域的突破有著重要的意義,也是青云QingCloud 補(bǔ)齊 AI 服務(wù)能力、完善深度學(xué)習(xí)平臺(tái)的重要一環(huán)。未來,青云QingCloud 將持續(xù)推出更多 AI 相關(guān)服務(wù),助力 AI 開發(fā)者更加便捷地開展工作,推動(dòng)全面人工智能時(shí)代的加速到來。