NVIDIA A100 TENSOR CORE GPU 在各種規模上實現出色的加速

適用於各種工作負載的強大計算平台

NVIDIA A100 Tensor Core GPU 可在各個規模下為 AI、數據分析和高性能計算（ HPC） 應用提供出色的加速性能，為全球的 高性能彈性數據中心提供強勁助力。作為 NVIDIA 數據中心平台的引擎，與前一代 NVIDIA Volta™ 相比，A100 可使性能提升高達 20 倍。A100 可高效擴展，也可借助多實例 GPU（ MIG） 技術劃分 為 7 個獨立的 GPU 實例，從而提供統一的平台，助力彈性數據中心根據不斷變化的工作負載需求動態進行調整。

NVIDIA A100 Tensor Core 技術支持廣氾的數學精度，可針對每個工作負載提供單個加速器。最新一代 A100 80GB 將 GPU 顯存 加倍，提供 2TB/s 的全球超快顯存帶寬，可加速處理超大型模型和海量數據集。

A100 是完整 NVIDIA 數據中心解決方案的一部分，該解決方案由硬件、網絡、軟件、庫以及 NGC™ 目錄中經優化的 AI 模型和 應用等疊加而成。作為適用於數據中心且功能強大的端到端 AI 和 HPC 平台，A100 可助力研究人員獲得真實的結果，並能將解決方案大規模部署到生產環境中。

 

NVIDIA英偉達A100人工智能服務器GPU算力租賃產品規格

	項目	標準配置	擴展配置
1	准系統	雙路4U機架式
2	處理器	英特爾 Xeon ® Gold 6330 處理器 28核/基頻2GHz/最高3.1GHz/42MB緩存	英特爾 Xeon® Platinum 8380 處理器 40核/基頻2.3GHz/最高3.4GHz/60MB緩存
3	內存	DDR4/RDIMM/3200MHz/64GB，總容量256GB	最大內存容量4TB
4	芯片組	Intel® C621A
5	GPU	8張A100 80GB PCIe顯卡	8張雙寬或16張單寬PCIe NVIDIA GPU卡
6	網絡通信	以太網卡，2路10G電口
7		InfiniBand（IB）網卡，2路200G QSFP56口
8	硬盤	系統盤，M.2 SATA SSD，容量1TB	前面板支持24塊2.5或12塊3.5寸 SAS/SATA硬盤 主板支持2塊M.2 SATA SSD
9		數據盤，4TB*4/SATA，總容量16TB
10	電源	單模組2000W，2+2冗余配置	單模組3KW，總計12KW
9	外形尺寸	寬度480mm，高度180mm，深度830mm
10	工作溫度	5~35℃
11	重量	80kg

 

NVIDIA A100 TENSOR CORE GPU 規格 （SXM4 和 PCIE 外形規格）

 

		A100 80GB PCIe	A100 80GB SXM
FP64	9.7 TFLOPS
FP64 Tensor Core	19.5 TFLOPS
FP32	19.5 TFLOPS
Tensor Float 32 （TF32）	156 TFLOPS | 312 TFLOPS*
BFLOAT16 Tensor Core	312 TFLOPS | 624 TFLOPS*
FP16 Tensor Core	312 TFLOPS | 624 TFLOPS*
INT8 Tensor Core	624 TOPS| 1248 TOPS*
GPU 顯存	80GB HBM2e		80GB HBM2e
GPU 顯存帶寬	1935GB/s		2039GB/s
最大熱設計功耗 （TDP）	300 瓦		400 瓦***
多實例 GPU	最多 7 個 MIG 每個 10GB		最多 7 個 MIG 每個 10GB
外形規格	PCIe 雙插槽風冷式或單插槽液冷式		SXM
互連技術	搭載 2 個 GPU 的 NVIDIA® NVLink® 橋接器：600GB/s** PCIe 4.0 ：64GB/s		NVLink ：600GB/s PCIe 4.0 ：64GB/s
服務器選項	搭載 1 至 8 個 GPU 的合作夥伴認証系統和 NVIDIA 認証系統（ NVIDIA-Certified Systems™）		搭載 4 個、8 個或 16 個 GPU 的 NVIDIA HGX™ A100 合作夥伴認証系統和 NVIDIA 認証系統 搭載 8 個 GPU 的 NVIDIA DGX™ A100
* 採用稀疏技術 ** SXM4 GPU 通過 HGX A100 服務器主板連接；PCIe GPU 通過 NVLink 橋接器可橋接多達兩個 GPU *** 400 瓦 TDP（適用於標準配置）。HGX A100-80 GB 自定義散熱解決方案（ CTS） SKU 可 支持高達 500 瓦的 TDP

 

跨工作負載的卓越性能

針對大型模型提供高達 3 倍的 AI 訓練速度；

相較于 CPU 提供高達 249 倍的 AI 推理性能；

相較于 A100 40GB 提供高達 1.25 倍的 AI 推理性能；

為 HPC 應用提供高達 1.8 倍的性能；

四年來 HPC 性能提升 11 倍；

相較于 A100 40GB，在大數據分析基準測試中速度提升 2 倍；

 

突破性的創新

NVIDIA AMPERE 架構：無論是使用 MIG 將 A100 GPU 分割為較小的實例，還是使用 NVLink 連接多個 GPU 來加速 大規模工作負載，A100 均可輕鬆滿足不同規模的加速需求，從小型作業到大型多節點工作負載無一例外。A100 功能全面，這意味着 IT 經理可以全天候地充分利用數據中心內的每個 GPU。

第三代 TENSOR CORE 技術：NVIDIA A100 的深度學習 運算性能可達 312 teraFLOPS （TFLOPS）。其深度學習訓練的 Tensor 每秒浮點運算次數（ FLOPS） 和推理 的 Tensor 每秒萬億次運算次數（ TOPS） 皆為 NVIDIA Volta™ GPU 的 20 倍。

新一代 NVLINK：A100 中採用的 NVIDIA NVLink 可提供兩倍于上一代的吞吐量。與 NVIDIA NVSwitch™ 結合使用時，此技術可將多達 16 個 A100 GPU 互連，並將速度提升至 600GB/s，從而在單個服務器上實現出色的應用性能。NVLink 技術可應用在 A100 中：SXM GPU 通過 HGX A100 服務器主板連接，PCIe GPU 通過 NVLink 橋接器可橋接多達兩塊 GPU。

多實例 GPU（ MIG） 技術：一個 A100 GPU 最多可劃分為 7 個 GPU 實例，這些實例在硬件級別完全獨立，並獨自擁有高 帶寬顯存、緩存和計算核心。借助 MIG， 開發者可為其所有應用實現驚人加速，IT 管理員也可為每個作業提供符合其規模的 GPU 加速，進而優化 GPU 利用率，並讓每個用戶和 應用都能使用 GPU 實例。

高帶寬顯存（ HBM2E）：憑借 80GB 的高帶寬顯存（HBM2e），A100 提供超過 2TB/s 的超快 GPU 顯存帶寬， 並將動態隨機存取存儲器（ DRAM） 的利用效率 提高至 95%。A100 提供的顯存帶寬是上一代 產品的 1.7 倍。

結構化稀疏：AI 網絡擁有數百萬至數十億個 參數。實現準確預測並非要使用所有參數，而且我們還可將某些參數轉換為零，以在無損準確性的前提下使 模型變得“稀疏”。A100 中的 Tensor Core 可為稀疏模型提供高達 2 倍的性能提升。稀疏功能不僅更容易使 AI 推理受益，同時還能提升 模型的訓練性能。

 

NVIDIA  A100 Tensor Core GPU 是 NVIDIA 數據中心平台的旗艦產品，可用於深度學習、高性能計算 （HPC） 和數據分析。該平台可為 2000 余款應用和各大深度學習框架提供加速。A100 適用於桌面、服務器以及云服務，不僅能顯著提升性能，更可以節約成本。