99久久婷婷国产综合精品电影,高潮了还继续啃花蒂,中 ,黄色一级免费大片_亚洲视频91_理论毛片_热久久精品免费

熱點(diǎn)

四臺(tái)Mac Studio合體變身AI集群!1.5TB內(nèi)存、硬件成本近30萬

時(shí)間:2010-12-5 17:23:32  作者:探索   來源:綜合  查看:  評(píng)論:0
內(nèi)容摘要:12月25日消息,近日知名工程師Jeff Geerling完成了一項(xiàng)挑戰(zhàn),利用macOS 26.2最新的系統(tǒng)特性,將四臺(tái)M3 Ultra Mac Studio成功合體,打造出一臺(tái)擁有1.5TB統(tǒng)一內(nèi)存

12月25日消息,合體近日知名工程師Jeff Geerling完成了一項(xiàng)挑戰(zhàn),變身利用macOS 26.2最新的集群近萬系統(tǒng)特性,將四臺(tái)M3 Ultra Mac Studio成功合體,內(nèi)存打造出一臺(tái)擁有1.5TB統(tǒng)一內(nèi)存的硬件AI計(jì)算集群。

這次集群成功的成本關(guān)鍵在于macOS 26.2引入的一項(xiàng)核心功能RDMA over Thunderbolt 5,通過Thunderbolt 5接口,合體允許一臺(tái)Mac直接讀取另一臺(tái)的變身內(nèi)存,無需CPU干預(yù)。集群近萬

在Geekbench 6的內(nèi)存多核測(cè)試中,該集群輕松超越了Dell Pro Max with GB10和Framework Desktop,硬件雙精度浮點(diǎn)數(shù)性能更是成本達(dá)到了1TFLOPS以上,而閑置功耗低于10W。合體

在AI推理方面,變身單機(jī)運(yùn)行Llama 3.2 3B模型時(shí),集群近萬每秒可處理154.6個(gè)token;在運(yùn)行大型Llama 3.1 70B模型時(shí),每秒可維持14.1個(gè)token,這兩個(gè)測(cè)試的性能都遠(yuǎn)超其他對(duì)手。

此外,在嘗試運(yùn)行DeepSeek R1 671B超大型模型時(shí),其他系統(tǒng)均無法正常運(yùn)行,而Mac Studio 集群憑借其1.5TB的統(tǒng)一內(nèi)存,完成了這一挑戰(zhàn)。

RDMA over Thunderbolt 5在這個(gè)AI集群中發(fā)揮了關(guān)鍵作用,在啟用RDMA后,內(nèi)存訪問延遲從TCP的300微秒降至50微秒以下。

在使用exo系統(tǒng)測(cè)試Qwen3 235B時(shí),四臺(tái)設(shè)備每秒可處理31.9個(gè)token,比llama.cpp TCP快了一倍以上;DeepSeek V3.1更是達(dá)到了每秒32.5個(gè)token。

雖然RDMA表現(xiàn)出色,但在高負(fù)荷時(shí)偶爾會(huì)出現(xiàn)系統(tǒng)崩潰的情況

另外值得注意的是,由Mac Studio組成的AI集群總硬件成本約為40000美元(約合人民幣28萬元),相比其他兩個(gè)平臺(tái),這一價(jià)格更貴。

copyright © 2025 powered by 企業(yè)錄(www.ssc849.cn)-公司信息發(fā)布,網(wǎng)上買賣交易門戶   sitemap