NVIDIA英偉達A100人工智能服務器GPU算力租賃

NVIDIA英偉達A100人工智能服務器GPU算力租賃
型號:A100
品牌:英偉達NVIDIA
原產地:美國
類別:電子、電力 / 其它電力、電子
標籤︰英偉達NVIDIA , GPU算力租賃 , 服務器
單價: -
最少訂量:1 件

產品描述

NVIDIA A100 TENSOR CORE GPU 在各種規模上實現出色的加速

適用於各種工作負載的強大計算平台

NVIDIA A100 Tensor Core GPU 可在各個規模下為 AI、數據分析和高性能計算( HPC) 應用提供出色的加速性能,為全球的 高性能彈性數據中心提供強勁助力。作為 NVIDIA 數據中心平台的引擎,與前一代 NVIDIA Volta™ 相比,A100 可使性能提升高達 20 倍。A100 可高效擴展,也可借助多實例 GPU( MIG) 技術劃分 為 7 個獨立的 GPU 實例,從而提供統一的平台,助力彈性數據中心根據不斷變化的工作負載需求動態進行調整。

NVIDIA A100 Tensor Core 技術支持廣氾的數學精度,可針對每個工作負載提供單個加速器。最新一代 A100 80GB 將 GPU 顯存 加倍,提供 2TB/s 的全球超快顯存帶寬,可加速處理超大型模型和海量數據集。

A100 是完整 NVIDIA 數據中心解決方案的一部分,該解決方案由硬件、網絡、軟件、庫以及 NGC™ 目錄中經優化的 AI 模型和 應用等疊加而成。作為適用於數據中心且功能強大的端到端 AI 和 HPC 平台,A100 可助力研究人員獲得真實的結果,並能將解決方案大規模部署到生產環境中。

 

NVIDIA英偉達A100人工智能服務器GPU算力租賃產品規格

 

項目

標準配置

擴展配置

1

准系統

雙路4U機架式

2

處理器

英特爾 Xeon ® Gold 6330 處理器
28核/基頻2GHz/最高3.1GHz/42MB緩存

英特爾 Xeon® Platinum 8380 處理器
40核/基頻2.3GHz/最高3.4GHz/60MB緩存

3

內存

DDR4/RDIMM/3200MHz/64GB,總容量256GB

最大內存容量4TB

4

芯片組

Intel® C621A

5

GPU

8張A100 80GB PCIe顯卡

8張雙寬或16張單寬PCIe NVIDIA GPU卡

6

網絡通信

以太網卡,2路10G電口

7

InfiniBand(IB)網卡,2路200G QSFP56口

8

硬盤

系統盤,M.2 SATA SSD,容量1TB

前面板支持24塊2.5或12塊3.5寸 SAS/SATA硬盤
主板支持2塊M.2 SATA SSD

9

數據盤,4TB*4/SATA,總容量16TB

10

電源

單模組2000W,2+2冗余配置

單模組3KW,總計12KW

9

外形尺寸

寬度480mm,高度180mm,深度830mm

10

工作溫度

5~35℃

11

重量

80kg

 

NVIDIA A100 TENSOR CORE GPU 規格 (SXM4 和 PCIE 外形規格)

 

 

A100 80GB PCIe

A100 80GB SXM

FP64

9.7 TFLOPS

FP64 Tensor Core

19.5 TFLOPS

FP32

19.5 TFLOPS

Tensor Float 32 (TF32)

156 TFLOPS | 312 TFLOPS*

BFLOAT16 Tensor Core

312 TFLOPS | 624 TFLOPS*

FP16 Tensor Core

312 TFLOPS | 624 TFLOPS*

INT8 Tensor Core

624 TOPS| 1248 TOPS*

GPU 顯存

80GB HBM2e

80GB HBM2e

GPU 顯存帶寬

1935GB/s

2039GB/s

最大熱設計功耗 (TDP)

300 瓦

400 瓦***

多實例 GPU

最多 7 個 MIG 每個 10GB

最多 7 個 MIG 每個 10GB

外形規格

PCIe 雙插槽風冷式或單插槽液冷式

SXM

互連技術

搭載 2 個 GPU 的 NVIDIA® NVLink® 橋接器:600GB/s**

PCIe 4.0 :64GB/s

NVLink :600GB/s

PCIe 4.0 :64GB/s

服務器選項

搭載 1 至 8 個 GPU 的合作夥伴認証系統和 NVIDIA 認証系統( NVIDIA-Certified Systems™)

搭載 4 個、8 個或 16 個 GPU 的 NVIDIA HGX™ A100 合作夥伴認証系統和 NVIDIA 認証系統

搭載 8 個 GPU 的 NVIDIA DGX™ A100

* 採用稀疏技術

** SXM4 GPU 通過 HGX A100 服務器主板連接;PCIe GPU 通過 NVLink 橋接器可橋接多達兩個 GPU

*** 400 瓦 TDP(適用於標準配置)。HGX A100-80 GB 自定義散熱解決方案( CTS) SKU 可 支持高達 500 瓦的 TDP

       

 

跨工作負載的卓越性能

針對大型模型提供高達 3 倍的 AI 訓練速度;

相較于 CPU 提供高達 249 倍的 AI 推理性能;

相較于 A100 40GB 提供高達 1.25 倍的 AI 推理性能;

為 HPC 應用提供高達 1.8 倍的性能;

四年來 HPC 性能提升 11 倍;

相較于 A100 40GB,在大數據分析基準測試中速度提升 2 倍;

 

突破性的創新

NVIDIA AMPERE 架構:無論是使用 MIG 將 A100 GPU 分割為較小的實例,還是使用 NVLink 連接多個 GPU 來加速 大規模工作負載,A100 均可輕鬆滿足不同規模的加速需求,從小型作業到大型多節點工作負載無一例外。A100 功能全面,這意味着 IT 經理可以全天候地充分利用數據中心內的每個 GPU。

第三代 TENSOR CORE 技術:NVIDIA A100 的深度學習 運算性能可達 312 teraFLOPS (TFLOPS)。其深度學習訓練的 Tensor 每秒浮點運算次數( FLOPS) 和推理 的 Tensor 每秒萬億次運算次數( TOPS) 皆為 NVIDIA Volta™ GPU 的 20 倍。

新一代 NVLINK:A100 中採用的 NVIDIA NVLink 可提供兩倍于上一代的吞吐量。與 NVIDIA NVSwitch™ 結合使用時,此技術可將多達 16 個 A100 GPU 互連,並將速度提升至 600GB/s,從而在單個服務器上實現出色的應用性能。NVLink 技術可應用在 A100 中:SXM GPU 通過 HGX A100 服務器主板連接,PCIe GPU 通過 NVLink 橋接器可橋接多達兩塊 GPU。

多實例 GPU( MIG) 技術:一個 A100 GPU 最多可劃分為 7 個 GPU 實例,這些實例在硬件級別完全獨立,並獨自擁有高 帶寬顯存、緩存和計算核心。借助 MIG, 開發者可為其所有應用實現驚人加速,IT 管理員也可為每個作業提供符合其規模的 GPU 加速,進而優化 GPU 利用率,並讓每個用戶和 應用都能使用 GPU 實例。

高帶寬顯存( HBM2E):憑借 80GB 的高帶寬顯存(HBM2e),A100 提供超過 2TB/s 的超快 GPU 顯存帶寬, 並將動態隨機存取存儲器( DRAM) 的利用效率 提高至 95%。A100 提供的顯存帶寬是上一代 產品的 1.7 倍。

結構化稀疏:AI 網絡擁有數百萬至數十億個 參數。實現準確預測並非要使用所有參數,而且我們還可將某些參數轉換為零,以在無損準確性的前提下使 模型變得“稀疏”。A100 中的 Tensor Core 可為稀疏模型提供高達 2 倍的性能提升。稀疏功能不僅更容易使 AI 推理受益,同時還能提升 模型的訓練性能。

 

NVIDIA  A100 Tensor Core GPU 是 NVIDIA 數據中心平台的旗艦產品,可用於深度學習、高性能計算 (HPC) 和數據分析。該平台可為 2000 余款應用和各大深度學習框架提供加速。A100 適用於桌面、服務器以及云服務,不僅能顯著提升性能,更可以節約成本。

NVIDIA英偉達A100人工智能服務器GPU算力租賃 1

會員信息

上海智算行雲科技有限公司
國家/地區︰上海市宝山区
經營性質︰生產商
聯繫電話︰16601807362
聯繫人︰周先生 (銷售)
最後上線︰2024/09/23