12月9日消息，黃仁在最近一期的顧關(guān)Joe Rogan播客中，NVIDIA CEO黃仁勛回憶了關(guān)于深度學(xué)習(xí)起源和公司命運(yùn)的鍵轉(zhuǎn)今關(guān)鍵轉(zhuǎn)折點(diǎn)：深度學(xué)習(xí)的突破，始于2012年，折沒(méi)依賴(lài)于兩張并非為AI設(shè)計(jì)的黃仁GTX 580顯卡SLI雙卡互聯(lián)配置。

黃仁勛透露，顧關(guān)當(dāng)今AI的鍵轉(zhuǎn)今核心深度學(xué)習(xí)，其基礎(chǔ)網(wǎng)絡(luò)的折沒(méi)首次運(yùn)行使用的硬件，正是黃仁基于Fermi架構(gòu)、擁有512個(gè)CUDA核心的顧關(guān)高端游戲顯卡GTX 580。

雖然該顯卡最初是鍵轉(zhuǎn)今為頂級(jí)游戲而生，但其強(qiáng)大的折沒(méi)并行計(jì)算能力，卻無(wú)意中成為了深度學(xué)習(xí)快速訓(xùn)練的黃仁基石。

2012年，顧關(guān)來(lái)自多倫多大學(xué)的鍵轉(zhuǎn)今研究人員Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton，利用一對(duì)3GB的GTX 580顯卡，訓(xùn)練出了著名的AlexNet模型。

這個(gè)擁有約6000萬(wàn)參數(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)，在當(dāng)年的ImageNet圖像識(shí)別競(jìng)賽中，以超越當(dāng)時(shí)手動(dòng)設(shè)計(jì)算法70%的驚人優(yōu)勢(shì)脫穎而出。

黃仁勛指出，AlexNet的開(kāi)發(fā)者通過(guò)優(yōu)化算法，使其能夠在兩張GTX 580上并行運(yùn)行，僅在必要時(shí)才交換數(shù)據(jù)，極大地縮短了訓(xùn)練時(shí)間，這也使得GTX 580成為世界上第一款運(yùn)行深度學(xué)習(xí)/機(jī)器學(xué)習(xí)AI網(wǎng)絡(luò)的顯卡。

有意思的是，這一里程碑達(dá)成時(shí)，NVIDIA在AI領(lǐng)域的投資微乎其微，大部分研發(fā)仍集中在3D圖形和游戲上。

正是AlexNet在GTX 580上的成功應(yīng)用，讓NVIDIA意識(shí)到深度學(xué)習(xí)的巨大潛力，黃仁勛表示，公司隨即在2012年將資金、開(kāi)發(fā)和研究工作轉(zhuǎn)向深度學(xué)習(xí)技術(shù)。

這一轉(zhuǎn)型最終催生了2016年的初代NVIDIA DGX超級(jí)計(jì)算機(jī)、具有首代Tensor核心的Volta架構(gòu)，以及后續(xù)的DLSS技術(shù)。

最新評(píng)論