英偉達的芯片命名很有講究，它的所有芯片系列都是科學家的名字。這一次發布的超級計算機所用的GH，就是Grace Hopper的縮寫。咱們就來說說Grace Hopper和這款芯片和它的跨時代意義。
編程之母
Grace Hopper是美國計算機科學家、數學家和美國海軍少將。她是哈佛Mark I計算機的第一批程序員之一，是計算機編程的先驅，發明了最早的鏈接器之一。霍普是第一個設計出與機器無關的編程語言理論的人，她用這個理論創造的FLOW-MATIC編程語言后來被擴展為COBOL，一種早期的高級編程語言，至今仍在使用。Fortran也有她的功勞。
(資料圖)
由于當年的計算機是電子管，會有蟲子飛進去導致短路，所以Hopper發明了debug捉蟲一詞，這個詞但凡和編程有點淵源的人都不陌生。
為了紀念這位計算機先驅，英偉達把新一代計算芯片命名為Grace Hopper。
強大的Grace Hopper芯片
英偉達的Grace Hopper是兩個處理器做在了一個PCB上，它分為Grace和Hopper兩部分，如下圖，一左一右。
Grace是CPU，它是ARM架構的。
72個Arm Neoverse V2內核，采用Armv9.0-A ISA，每個內核4×128位SIMD單元。117MB的L3高速緩存。512GB的LPDDR5X內存，提供高達546GB/s的內存帶寬。64X的PCIe5.0通道。英偉達可擴展一致性結構（SCF）網狀和分布式緩存，內存帶寬高達3.2TB/s。
Hopper是 GPU：高達144個SM，擁有第四代Tensor Cores、Transformer Engine、DPX，與英偉達A100 GPU相比，FP32和FP64的整體性高出3倍。高達96GB的HBM3內存，提供高達3000GB/s的速度。二級緩存60 MB。擴展GPU內存功能使Hopper GPU能夠將所有CPU內存作為GPU內存進行尋址。每個Hopper GPU可以在一個超級芯片內尋址多達608 GB的內存。
NVIDIA NVLink交換系統：使用NVLink 4連接多達256個NVIDIA Grace Hopper超級芯片。每個連接NVLink的Hopper GPU可以尋址網絡中所有超級芯片的所有HBM3和LPDDR5X內存，從而獲得高達150TB的GPU可尋址內存，256個Grace Hopper就是英偉達的GH200超級計算機。
256個Grace Hopper有多強？英偉達表示它有1EB的計算能力！這是什么概念？剛剛出爐的世界超級計算機Top500排名，第一名的Frontier也就是1.1E的算力，1EB的算力，約等于Top500的25%！當然超級計算機的算力都是針對性的，英偉達的GH200有兩大優勢：第一是量產，第二則是針對AI推理這些的優化，能讓大模型LLM運行的更快，或許年底在大企業部署之后，我們使用AI的成本和速度都能得到提升。
AI被成為近40年來3D顯卡以后最偉大的發明，英偉達正是提供AI算力的企業。或許
標簽：
