大模型算力新選擇——寶德AI服務(wù)器采用8顆英特爾Gaudi?2加速器
近日,英特爾專(zhuān)門(mén)針對(duì)中國(guó)市場(chǎng)推出深度學(xué)習(xí)加速器Habana? Gaudi?2,以領(lǐng)先的性?xún)r(jià)比優(yōu)勢(shì),加速AI訓(xùn)練及推理,提高深度學(xué)習(xí)性能和效率,從而成為大規(guī)模部署AI的更優(yōu)解。作為英特爾在中國(guó)最重要的戰(zhàn)略合作伙伴和中國(guó)AI服務(wù)器市場(chǎng)的TOP3,寶德計(jì)算積極攜手英特爾,推出了支持8顆Gaudi?2加速器的AI加速計(jì)算服務(wù)器——PR8908WG,具有高性能、可擴(kuò)展性強(qiáng)、高能效和開(kāi)箱即用等優(yōu)勢(shì),能夠?yàn)锳I客戶(hù)尤其是大模型訓(xùn)練和推理提供超高性?xún)r(jià)比的算力支撐。
全新Gaudi?2訓(xùn)練加速器,專(zhuān)為深度學(xué)習(xí)而生
Gaudi?2采用7nm制程工藝,擁有高性能架構(gòu),具備24個(gè)可編程Tensor處理器核心(TPCs),21個(gè)100Gbps(RoCEv2)以太網(wǎng)接口,96GB HBM2E內(nèi)存容量,2.4TB/秒的總內(nèi)存帶寬,48MB片上SRAM,并且集成多媒體處理引擎,為訓(xùn)練大語(yǔ)言模型提供高性能、高可擴(kuò)展性和高能效的AI算力,在MLCommons?MLPerf@基準(zhǔn)測(cè)試之GPT-3模型、計(jì)算機(jī)視覺(jué)模型ResNet-50、Unet3D、以及自然語(yǔ)言處理模型BERT等方面均取得了優(yōu)異的成績(jī)。
生成式AI和大語(yǔ)言模型需要服務(wù)器集群來(lái)滿(mǎn)足大規(guī)模且更加復(fù)雜的計(jì)算要求。英特爾Gaudi?2處理器作為一款高性能、完全可編程的AI處理器,整合了多項(xiàng)技術(shù)創(chuàng)新,具有高內(nèi)存帶寬/容量和基于標(biāo)準(zhǔn)以太網(wǎng)技術(shù)的縱向擴(kuò)展能力,并支持使用外接網(wǎng)卡通過(guò)PCle接口實(shí)現(xiàn)橫向擴(kuò)展,可滿(mǎn)足多節(jié)點(diǎn)集群需要。同時(shí),英特爾不斷打造領(lǐng)先、成熟的軟件生態(tài)支持,SynapseAI?軟件套件就針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化,它集成了對(duì)TensorFlow和PyTorch框架的支持,并提供眾多流行的計(jì)算機(jī)視覺(jué)和自然語(yǔ)言參考模型,能夠滿(mǎn)足深度學(xué)習(xí)開(kāi)發(fā)者的多樣化需求。
寶德AI服務(wù)器PR8908WG+ Gaudi?2,大模型算力新選擇
寶德AI服務(wù)器PR8908WG采用第三代英特爾?至強(qiáng)?可擴(kuò)展處理器,8U空間支持8顆OAM高速互聯(lián)的Gaudi?2 AI加速器,每顆Gaudi?2芯片配置96GB HBM高速內(nèi)存,GPU與 GPU 之間互聯(lián)帶寬達(dá)到400GB/s,提供2.1Tbps的P2P互聯(lián)帶寬,支持全互聯(lián)拓?fù)?,全面滿(mǎn)足大模型訓(xùn)練的海量通信需求;它支持200Gb ETH和HDR高速智能網(wǎng)卡,支持GPU Direct RDMA,完美滿(mǎn)足集群和超大規(guī)模擴(kuò)展應(yīng)用。
PR8908WG擁有32個(gè)DDR4 DIMM插槽,最大支持8TB 32x 256 GB DRAM;支持24塊2.5英寸SAS/SATA熱插拔硬盤(pán)位,默認(rèn)支持8塊直連SATA硬盤(pán),4塊NVMe U.2 SSD,同時(shí)內(nèi)置2個(gè)NVMe M.2 SSD,實(shí)現(xiàn) CPU 直通設(shè)計(jì),降低 I/O 延遲;它提供2個(gè)PCIe 4.0 x16 FHFL插槽和2 個(gè)PCIe 4.0 x8 FHFL插槽;支持以太網(wǎng)、InfiniBand、OPA等多種不同網(wǎng)絡(luò)選擇和互聯(lián)需求。
PR8908WG整機(jī)采用模塊化設(shè)計(jì),獨(dú)立的GPU和CPU 熱量分區(qū)設(shè)計(jì)確保系統(tǒng)在最苛刻的工作負(fù)載下性能和穩(wěn)定性不受影響;同時(shí)板載集成BMC、支持通過(guò)RAID卡超級(jí)電容、支持IPMI 2.0遠(yuǎn)程管理等,非常方便用戶(hù)對(duì)AI算力設(shè)備的維護(hù)管理。
綜上,寶德AI加速計(jì)算服務(wù)器PR8908WG可以滿(mǎn)足AI不同場(chǎng)景下海量數(shù)據(jù)的計(jì)算和推理需求,特別適用于大模型訓(xùn)練和推理、深度學(xué)習(xí)、自動(dòng)駕駛、智能城市、醫(yī)療健康、大數(shù)據(jù)、高性能計(jì)算(HPC)和虛擬現(xiàn)實(shí)等應(yīng)用場(chǎng)景,幫助加速更多AI技術(shù)的落地和應(yīng)用。
大模型將帶來(lái)AI新價(jià)值,“百模大戰(zhàn)時(shí)代”已經(jīng)來(lái)臨。隨著各大模型的爭(zhēng)奇斗艷和對(duì)成本、盈利模式等的日益關(guān)注,性?xún)r(jià)比為王將成為AI算力的新標(biāo)準(zhǔn)。作為中國(guó)領(lǐng)先的計(jì)算產(chǎn)品方案提供商,寶德計(jì)算將繼續(xù)發(fā)揮AI服務(wù)器領(lǐng)域的技術(shù)優(yōu)勢(shì)和市場(chǎng)經(jīng)驗(yàn),攜手英特爾等合作伙伴不斷創(chuàng)新,探索大模型算力的更多選擇,打造更具性?xún)r(jià)比的AI算力和解決方案,助力中國(guó)大模型更多細(xì)分場(chǎng)景的落地和商業(yè)變現(xiàn),共同加速中國(guó)大模型技術(shù)的發(fā)展步伐,推動(dòng)中國(guó)人工智能產(chǎn)業(yè)的整體升級(jí)!
-
海能新能源助力科技創(chuàng)新——第六屆射頻與天線技術(shù)國(guó)際學(xué)術(shù)研討會(huì)在深圳成功召開(kāi)
-
漢王友基與廣州美術(shù)學(xué)院達(dá)成校企戰(zhàn)略合作
-
以遠(yuǎn)見(jiàn)超越未見(jiàn) | 2023 山石網(wǎng)科 · 安全守護(hù)者峰會(huì)成功舉辦
-
漢王友基點(diǎn)陣筆新品上市,賦能紙筆互動(dòng)智慧教育場(chǎng)景
-
新生產(chǎn)力,躍升!2023WAIC“智慧金融與數(shù)字員工”分論壇在滬成功舉辦
-
DHL亞特蘭大樞紐投運(yùn)
-
三亞太陽(yáng)灣柏悅酒店開(kāi)啟盛夏山海暑期童趣之旅