十年前，伺服器產業談論rack-scale，核心並不是把更多機器塞進機櫃，而是改變資源的管理單位。傳統伺服器把處理器、記憶體、儲存、網絡和電源封裝成一台完整設備，企業按「台」採購，故障時也按「台」維修。雲端數據中心興起後，這種模式暴露出利用率低、擴容緩慢和供應商綁定等問題。英特爾當年的機架式機架設計（Rack Scale Design）因此提出把運算、儲存及加速器拆分成可組合的資源池，再由軟件按工作負載動態配置。機架開始由安裝設備的鐵櫃，變成一套可被調度的系統。
這個轉變與Open Compute Project推動的開放機架、共用電源及模組化設計互相呼應。對大型雲服務商而言，伺服器不再需要每台都有獨立而完整的外殼、電源和管理邏輯；只要整個機架能快速部署、替換及擴充，便可降低總持有成本。rack-scale的第一個十年，解決的主要是標準化、資源利用率和營運效率問題。
AI令機架成為一部超級電腦
生成式AI出現後，問題突然由「如何共享資源」變成「如何讓大量GPU像單一處理器般協同工作」。大型模型訓練及推理需要高頻寬記憶體、GPU互連和低延遲網絡，任何一個節點等待數據，都會拖低整個集群效率。NVIDIA GB200 NVL72把36枚Grace CPU及72枚Blackwell GPU整合於液冷機架，透過NVLink形成72 GPU運算域，總互連頻寬達每秒130TB。相較上一代主要以八枚GPU為高速互連單元，設計邏輯已從「多台伺服器組成集群」，轉向「整個機架就是伺服器」。
性能密度上升，也把散熱推向物理極限。GB200 NVL72的機架用電需求約120kW，已遠超傳統企業數據中心的低密度機架。空氣的帶熱能力有限，單靠提高風扇轉速，不但耗電、產生噪音，還會佔用機箱空間，甚至迫使晶片降頻。液體的熱容量及導熱能力較高，直接液冷遂由高性能運算市場的特殊方案，變成AI伺服器的基礎設計。NVIDIA的MGX技術資料顯示，冷板、歧管及快速接頭已被納入機架級平台，而非留待數據中心營運商事後加裝。
所謂direct-to-chip liquid cooling，是以冷板接觸CPU、GPU等主要熱源，冷卻液經機架內歧管流向冷卻液分配裝置，再把熱量帶到設施水循環；記憶體、電源及其他低熱元件則可保留氣冷。這種混合架構既提高熱捕捉效率，也減少機房空調負擔。Dell現有直接液冷機架方案已涵蓋40至80kW以上，其新一代冷卻液分配裝置更可處理超過220kW熱負荷，反映散熱能力正跟隨晶片功耗快速上調。
然而，液冷並非把風扇換成水管那麼簡單。伺服器主板、冷板、快速接頭、泵、歧管、漏液偵測、控制軟件及維修流程都要共同設計；數據中心亦須重新考慮供水溫度、水質、地板承重及備援。ASHRAE的數據中心指引指出，全負載液冷機架重量可超過1,800公斤，舊機房未必可以直接安裝。換言之，競爭範圍已由伺服器廠擴展至電源、散熱、連接器、機房工程及樓宇基建供應商。
液冷同時改變數據中心的投資節奏。傳統機房可以逐台添置伺服器，超高密度AI系統卻往往要求機架、供電、網絡與散熱一次部署。這提高前期資本開支，也令客戶更依賴具備整機架設計、工廠預整合及現場維護能力的供應商。伺服器的競爭優勢，開始由單純採購到高性能晶片，擴展至能否把數千個零件可靠地組成一部長期運作的「機架級電腦」。
這十年的真正轉折，是伺服器設計的邊界不斷向外移。過去工程師優化一塊主板，後來要優化一台伺服器，再後來是整個機架；現在甚至要把晶片、網絡、供電、冷卻和建築視為同一系統。rack-scale追求的是每個機架可調度多少資源，liquid cooling關心的則是每瓦電力能產生多少有效運算。未來AI基建的勝負，不只取決於誰有最快的GPU，也取決於誰能以最低能源和維護成本，把整個機架長時間穩定地跑滿。
義合控股投資者關係部
