LLMOps Appliance
星環LLMOps大模型一體機
7 種大語言模型、文生圖模型，盡在LLMOps Appliance
產品簡介
星環LLMOps大模型一體機（預裝了開箱即用的滿血版DeepSeek-R1-671B、Phi-4-14B、Gemma-3-27B、Llama-3.3-70B-Instruct、Stable-Diffusion-3.5-Large、Jina-Embeddings-v3、Jina-Reranker-v2-Base-Multilingual等7種大模型），深度融合軟硬件技術，為企業提供從模型開發到應用落地的全生命周期解決方案，助力AI技術快速融入生產與業務場景。
核心組件
LLMOps軟件平臺
星環大模型運營平臺 Sophon LLMOps 是一款企業級大模型全生命周期運營管理平臺，旨在賦能企業用戶能敏捷、高效、有閉環地將大模型落地到生產和業務中去。Sophon LLMOps 打通并優化了語料接入和開發、提示工程、大模型訓練、知識抽取和融合、模型管理、應用和智能體構建、應用部署、運維和監控，以及業務效果持續提升等全鏈路流程。
硬件平臺
大模型一體機的硬件平臺支持大模型訓練的極高算力負載需求。它通過軟硬件工程優化，為各類 LLM 算法提供 GPU 加速訓練，此外，還可以根據客戶的個性化需求提供定制化套餐。
高速 InfiniB and 400G 交換機
每個 400G IB 交換機安裝在 1U 標準機箱內，并提供 64 個 NDR 400Gb/s InfiniBand 端口。單個交換機可承載 51.2 TB/s 的聚合雙向吞吐量和超過 665 億個數據包/秒 (BPPS) 的數據包轉發率。
主要特性
處理器
支持 64 核心以上 2.0GHz 以上主頻的 Intel Xeon 處理器 或AMD EPYC 處理器。
數據存儲
至少 3塊3.84T企業級 2.5 寸 NVMe U.2 PCIe 4.0 SSD，用于存儲模 型數據和訓練數據，存儲容量超過 10TB。
內存
支持1TB 以上DDR4或 DDR5 RDIMM ECC 內存。
算力網絡
每個節點支持多達8 塊 400G 單口InfiniBand 或以太網網卡，用于組建算力通信網絡，單口網絡帶寬達400Gbps交換機進行高速互聯，構建高速參數網絡。
AI 算力
每個節點8塊高性能 GPU，單卡FP16算力從147 TFLops到989 TFLops FP8算力從 296TFLops 到 1979 TFLops；每個節點FP16算力從 1176 TFLops 到 7912 TFLops，FP8 算力從 2368 TFLops 到 15832 TFLops。
體系架構
硬件層
配置 2 顆高性能多核處理器，最多 8 塊高性能顯卡通過專用高速芯片互聯，提供 600GB/s 以上的帶寬，NVMe U.2 PCIe 4.0 SSD，順序讀速度達到 7000MB/s，順序寫速度達到 4000MB/s, 400G InfiniBand 網卡實現節點之間高速互聯， 10G/25G 網卡實現管理業務通信。
底層協議及軟件層
使用 RDMA 協議實現多節點 GPU 之間低延遲、高帶寬的通信，使用DOCKER 實現云原生服務，采用 CUDA、CUDNN 作為 AI 框架的底層軟件庫，采用 NCCL 實現高效的 GPU 之間 和節點之間高速通信。
AI 框架及工具層
預裝滿血版DeepSeek R1 671B、Phi、Gemma、Llama、Stable Diffusion、Jina等7種大模型，提供語料接入和開發、提示工程、大模型訓練、知識抽取和融合、模型管理、應用和智能體構建、應用部署、運維和監控等功能。
應用功能層
包括模型服務、知識服務、應用服務等。
應用場景
自然語言處理
DeepSeek R1 671B 能夠理解和生成自然語言文本，適用于機器翻譯、文本摘要、情感分析問答系統等場景。
數據分析
該模型可以處理和分析大量數據，幫助企業從數據中提取有價值的信息，用于市場分析、趨勢預測等。
智能推薦
DeepSeek R1 671B 可以根據用戶的歷史行為和偏好，提供個性化的內容推薦，如商品推薦、新聞推薦等。
自動化客服
在客戶服務領域，DeepSeek R1 671B 可以實現自動化響應，提高服務效率，降低人力成本。
教育和培訓
模型可以用于在線教育平臺，提供個性化的學習體驗和智能輔導。
游戲和娛樂
在游戲行業，DeepSeek R1 671B 可以用于創建更智能的非玩家角色(NPC)，提供更豐富的互動體驗。
創意設計
生成創業視覺草圖，如電商Banner、宣傳圖片、視頻腳本等，加速創意落地。
體系架構圖
拓撲架構
大模型一體機的拓撲架構由管理網絡和算力網絡組成:- 管理網絡: 由 10G/25G 的一臺或兩臺萬兆交換機構成；- 算力網絡: 由一至兩臺400G 的 InfiniBand 交換機構成，運行RDMA 協議，能夠充分實現高速、低延遲的協議優勢。大模型一體機的主機部分是采用高速互聯芯片互聯的八張高端的 GPU 卡構成，64G 以上的高速 PCIE 通信的帶寬，單卡顯存容量從 80GB 到141GB， 顯存帶寬從 2TB/s 到 4.8TB/s。
套餐詳情
GPU 模組性能參數
* 注： 針對密集矩陣運算進行了優化，是大模型應用的理想選擇
軟件套餐二選一
LLMOps 標準版 (針對大模型應用構建)
LLMOps 標準版專為構建 GenAI及大模型應用而設計，預裝了包含DeepSeek R1 671B等 7 種最新的、開箱即用的大語言模型和文生圖模型，您還可以從Hugging Face 下載更多的模型來擴展您的AI能力。LLMOps 標準版具備異構模型管理、知識庫構建、AI大模型應用開發、多租戶及硬件算力調度等強大工具，以幫助您快速創建及部署個性化的 GenAI應用。
LLMOps Pro版 (針對大模型的預訓練和微調)
LLMOps Pro版專為有大模型預訓練和微調需求的客戶量身定制，提供一整套從語料處理、模型訓練和算力調度的工具，以幫助客戶快速訓練及微調自己的大模型。LLMOps Pro版涵蓋了標準版的所有功能和所有7種模型，并額外提供了企業級的AI模型運行、應用開發和維護管理套件，從而為您的企業構建堅實的AI護城河。
軟件功能
LLMOPS標準版使用場景
開箱即用的GenAI及大模型推理
海量模型統一管理
基于私有語料的知識庫構建
高效的AI智能體及應用開發
安全的多租戶隔離及管理
硬件算力資源調度
LLMOPS Pro版使用場景
大模型預訓練及微調
豐富的語料處理工具，賦能高質量模型落地
所有標準版具備的功能和模型
星環科技,構建明日數據世界
