Sophon MLOps
AI能力運(yùn)營(yíng)平臺(tái)
統(tǒng)一納管
/
統(tǒng)一運(yùn)維
/
統(tǒng)一監(jiān)控
/
統(tǒng)一應(yīng)用
產(chǎn)品簡(jiǎn)介
Sophon MLOps是基于云原生架構(gòu)構(gòu)建的企業(yè)級(jí)AI能力運(yùn)營(yíng)平臺(tái)，通過(guò)統(tǒng)一納管、統(tǒng)一運(yùn)維、統(tǒng)一應(yīng)用、統(tǒng)一監(jiān)控，在機(jī)器學(xué)習(xí)模型全生命周期中賦予企業(yè)客戶易用、高效且安全可靠的AI能力運(yùn)營(yíng)服務(wù)，協(xié)助客戶規(guī)模化管理日益增長(zhǎng)的機(jī)器學(xué)習(xí)模型，提升模型使用效率，降低模型管理成本，控制模型生產(chǎn)環(huán)境風(fēng)險(xiǎn)。
Sophon MLOps能提供什么？
服務(wù)管理
涵蓋監(jiān)控、測(cè)試、審計(jì)和評(píng)估等模型服務(wù)的全方位管理——支持實(shí)時(shí)監(jiān)控模型服務(wù)的運(yùn)行狀態(tài)；支持快速測(cè)試并驗(yàn)證服務(wù)可用性；支持獨(dú)立查看各服務(wù)的全量監(jiān)控指標(biāo)；支持查看模型服務(wù)的性能評(píng)估報(bào)告，為模型迭代提供參考依據(jù)。
服務(wù)推理
提供可視化操作界面，流程化快速構(gòu)建支持XGBoost、MLflflow、TensorFlow、PyTorch、Scikit-learn、Spark-MLlib等多種算法框架的模型服務(wù)推理圖，并支持自定義配置包含多模型的復(fù)雜推理邏輯，大幅節(jié)省了模型配置成本。
服務(wù)發(fā)布
零代碼部署模型服務(wù)，并支持自定義配置彈性伸縮策略、多版本流量分配策略，以及推理圖各節(jié)點(diǎn)CPU、GPU、內(nèi)存資源的按需分配，輕松實(shí)現(xiàn)模型服務(wù)多實(shí)例負(fù)載均衡、灰度發(fā)布和A/B測(cè)試。
模型管理
幫助用戶統(tǒng)一納管多源異構(gòu)的模型文件，通過(guò)規(guī)范化的集成管理，實(shí)現(xiàn)統(tǒng)一部署大規(guī)模機(jī)器學(xué)習(xí)模型，大幅降低模型管理成本。
服務(wù)鏡像
無(wú)縫銜接Sophon Base中的模型鏡像，支持使用MLOps快速部署B(yǎng)ase中訓(xùn)練好的機(jī)器學(xué)習(xí)模型；同時(shí)支持接入其他訓(xùn)練平臺(tái)打包生成的模型容器鏡像，并在MLOps中得到統(tǒng)一納管、運(yùn)維和監(jiān)控。
為什么選擇Sophon MLOps？
規(guī)模化的集成管理
統(tǒng)一納管多源異構(gòu)的模型文件，通過(guò)規(guī)范化集成管理，實(shí)現(xiàn)統(tǒng)一部署大規(guī)模機(jī)器學(xué)習(xí)模型，從而幫助用戶大幅降低模型管理成本。
高效模型推理服務(wù)
使用圖形交互的方式，幫助用戶流程化快速構(gòu)建服務(wù)推理圖，并支持自定義配置包含多模型的復(fù)雜推理邏輯，及可視化快速部署模型應(yīng)用，簡(jiǎn)化了模型配置和部署的復(fù)雜流程。
多維度監(jiān)控及評(píng)估
實(shí)時(shí)監(jiān)控模型服務(wù)的運(yùn)行狀態(tài)，幫助用戶控制模型生產(chǎn)環(huán)境風(fēng)險(xiǎn)；通過(guò)多維度評(píng)估模型預(yù)測(cè)效果，為用戶后續(xù)迭代優(yōu)化模型提供重要參考。
隱私安全高度保障
提供多種用戶權(quán)限控制，滿足不同團(tuán)隊(duì)或用戶角色對(duì)集群環(huán)境、資源及系統(tǒng)功能的限制需求；同時(shí)保障用戶間私密數(shù)據(jù)的信息隔離；支持對(duì)模型部署環(huán)節(jié)的開啟審批流程，控制服務(wù)資源利用。
應(yīng)用案例
客戶需求
○ 為滿足監(jiān)管合規(guī)要求，同時(shí)提升總分行模型的管理效率，需要對(duì)模型全生命周期進(jìn)行統(tǒng)一管理
○ 行內(nèi)積累了大量來(lái)自不同算法框架的AI模型，但大都分散在多個(gè)不同的業(yè)務(wù)部門
○ 各部門的模型部署缺乏統(tǒng)一的流程，且需要配置大量的參數(shù)，導(dǎo)致模型部署周期過(guò)長(zhǎng)、配置成本增高且模型研發(fā)及應(yīng)用敏捷性降低
解決方案
○ 使用Sophon MLOps搭建全行統(tǒng)一的AI模型管理平臺(tái)，快速接入行內(nèi)積累的多源異構(gòu)模型
○ 利用MLOps搭建模型應(yīng)用標(biāo)準(zhǔn)化流程，統(tǒng)一構(gòu)建模型推理邏輯，并實(shí)現(xiàn)模型的快速部署
○ 在MLOps中持續(xù)監(jiān)控所有已上線的模型服務(wù)，實(shí)現(xiàn)統(tǒng)一運(yùn)維，并評(píng)估模型預(yù)測(cè)性能，確保模型預(yù)測(cè)的準(zhǔn)確性且模型運(yùn)行的穩(wěn)定性
項(xiàng)目成果
成功解決了異構(gòu)模型的管理問題，集成了全行來(lái)自多種算法框架的數(shù)百個(gè)機(jī)器學(xué)習(xí)模型
模型應(yīng)用的平均部署時(shí)間及模型配置成本均大幅降低；
支持上百個(gè)模型預(yù)測(cè)服務(wù)同時(shí)在線，且單條數(shù)據(jù)實(shí)現(xiàn)毫秒級(jí)響應(yīng)
打通了模型全生命周期流程，使模型的平均迭代周期顯著縮短
星環(huán)科技,構(gòu)建明日數(shù)據(jù)世界
