Geoffrey Hinton：深度學(xué)習(xí)之父，圖靈獎(jiǎng)獲得者 – AI名人堂

Al名人堂 2024-09-03 15:27:05 奇想AI導(dǎo)航網(wǎng)

杰弗里·埃弗里斯特·辛頓，（英語(yǔ)：Geoffrey Everest Hinton，1947年12月6日－），英國(guó)出生的加拿大計(jì)算機(jī)學(xué)家和心理學(xué)家，多倫多大學(xué)教授。以其在類(lèi)神經(jīng)網(wǎng)絡(luò)方面的貢獻(xiàn)聞名。Hinton是反向傳播算法和對(duì)比散度算法的發(fā)明人之一，也是深度學(xué)習(xí)的積極推動(dòng)者，被譽(yù)為“深度學(xué)習(xí)之父”。Hinton因在深度學(xué)習(xí)方面的貢獻(xiàn)與 Yoshua Bengio（約書(shū)亞·本希奧）和 Yann LeCun（楊立昆）一同被授予了2018年的圖靈獎(jiǎng)。

教育經(jīng)歷

Hinton于1970年在英國(guó)劍橋大學(xué)獲得實(shí)驗(yàn)心理學(xué)學(xué)士學(xué)位。此后于1978年在愛(ài)丁堡大學(xué)獲得人工智能博士學(xué)位。此后曾在薩塞克斯大學(xué)、加州大學(xué)圣迭戈分校、劍橋大學(xué)、卡內(nèi)基梅隆大學(xué)和倫敦大學(xué)學(xué)院工作。他是蓋茨比計(jì)算神經(jīng)科學(xué)中心的創(chuàng)始人，目前擔(dān)任多倫多大學(xué)計(jì)算機(jī)科學(xué)系教授。Hinton是機(jī)器學(xué)習(xí)領(lǐng)域的加拿大首席學(xué)者，也是加拿大高等研究院贊助的“神經(jīng)計(jì)算和自適應(yīng)感知”項(xiàng)目的領(lǐng)導(dǎo)者。Hinton在2013年3月加入Google，同時(shí)Google并購(gòu)了他創(chuàng)辦的DNNresearch公司。你可以在Google Research上了解其更多信息，https://research.google/people/GeoffreyHinton/

研究成果

Hinton的研究調(diào)查了將神經(jīng)網(wǎng)絡(luò)用于機(jī)器學(xué)習(xí)、記憶、感知和符號(hào)處理的方法，他撰寫(xiě)或與人合著了200多篇同行評(píng)審的出版物。在2022年神經(jīng)信息處理系統(tǒng)大會(huì)（NeuRIPS）上，Hinton介紹了一種新的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，他稱之為“Forward-Forward”算法。新算法的思想是用兩個(gè)正向通路取代反向傳播的傳統(tǒng)正向-反向通路，一個(gè)具有正（即真實(shí)）數(shù)據(jù)，另一個(gè)具有負(fù)數(shù)據(jù)，這可以由網(wǎng)絡(luò)本身生成。

Hinton在卡內(nèi)基梅隆大學(xué)擔(dān)任教授期間（1982-1987），David E.Rumelhart和Hinton以及Ronald J.Williams將反向傳播算法應(yīng)用于多層神經(jīng)網(wǎng)絡(luò)。他們的實(shí)驗(yàn)表明，這種網(wǎng)絡(luò)可以學(xué)習(xí)有用的數(shù)據(jù)內(nèi)部表示。在2018年的一次采訪中，Hinton表示，“David E.Rumelhart提出了反向傳播的基本想法，所以這是他的發(fā)明。”盡管這項(xiàng)工作對(duì)推廣反向傳播很重要，但他并不是第一個(gè)提出這種方法的人。Seppo Linnainmaa于1970年提出了反向模式自動(dòng)微分，反向傳播是其中的一個(gè)特例，Paul Werbos于1974年提出使用它來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

在同一時(shí)期，Hinton與David Ackley和Terry Sejnowski共同發(fā)明了玻爾茲曼機(jī)。他對(duì)神經(jīng)網(wǎng)絡(luò)研究的其他貢獻(xiàn)包括分散表示、時(shí)延神經(jīng)網(wǎng)絡(luò)、專家混合系統(tǒng)和亥姆霍茲?rùn)C(jī)器。2007年，Hinton與人合著了一篇無(wú)監(jiān)督學(xué)習(xí)論文，題為圖像轉(zhuǎn)換的無(wú)監(jiān)督學(xué)習(xí)。Hinton的研究簡(jiǎn)介可以在他1992年9月和1993年10月發(fā)表在《科學(xué)美國(guó)人》上的文章中找到。