2023年11月14日上午，學(xué)院邀請(qǐng)了香港中文大學(xué)助理教授范鳳磊博士通過線上會(huì)議的方式為永利官網(wǎng)師生帶來題為“Neuronal Diversity in Deep Learning”的學(xué)術(shù)報(bào)告。
范鳳磊教授的研究方向?yàn)樯疃葘W(xué)習(xí)理論，建模與應(yīng)用，本科畢業(yè)于哈爾濱工業(yè)大學(xué)，博士畢業(yè)于美國倫斯勒理工學(xué)院，團(tuán)隊(duì)導(dǎo)師為國際知名影像專家王革教授，隨后在美國康乃爾大學(xué)完成為期一年的博士后研究。發(fā)表論文20余篇，主要研究成果發(fā)表于人工智能領(lǐng)域和圖像處理領(lǐng)域的旗艦雜志如JMLR，IEEE TNNLS，IEEE TMI，IEEE TCI，IEEE TAI，代表成果為基于二階神經(jīng)元的深度學(xué)習(xí)體系和神經(jīng)網(wǎng)絡(luò)寬度深度對(duì)稱性。
范教授為永利官網(wǎng)師生帶來了他最新的研究工作：在人工神經(jīng)網(wǎng)絡(luò)中引入神經(jīng)元的多樣性。通過設(shè)計(jì)二階的神經(jīng)元這種非線性的操作可以提升神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。范教授也順勢(shì)提出了大家心中的一個(gè)問題：既然二階神經(jīng)元有這樣的優(yōu)勢(shì)，更高階的神經(jīng)元是否會(huì)有更好的效果呢？答案是否定的，因?yàn)楦唠A的神經(jīng)元都可以拆解為一階、二階這種基礎(chǔ)的神經(jīng)元，因此高階是沒必要的。另外，范教授也介紹了人工神經(jīng)網(wǎng)絡(luò)的三種訓(xùn)練方法：隨機(jī)初始化，這種方式不穩(wěn)定，尤其是在網(wǎng)絡(luò)比較深的時(shí)候穩(wěn)定性更差；權(quán)重轉(zhuǎn)移，這種方式是用相同結(jié)構(gòu)的傳統(tǒng)網(wǎng)絡(luò)訓(xùn)練好后，將權(quán)重轉(zhuǎn)移到目標(biāo)網(wǎng)絡(luò)，但是沒有解決震蕩問題；第三種隨即初始化部分參數(shù)的方法是最適宜的方式。隨后，范教授還介紹到二階神經(jīng)網(wǎng)絡(luò)在低劑量CT成像去噪方面的優(yōu)良效果。二階神經(jīng)元網(wǎng)絡(luò)具有更好的可解釋性，可以誘導(dǎo)出注意力機(jī)制，這在傳統(tǒng)神經(jīng)元上是不行的。
在一個(gè)多小時(shí)的報(bào)告中，范鳳磊教授用通俗易懂的表達(dá)為老師同學(xué)們帶來了人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域最前沿的研究成果，讓在座的每一位同學(xué)都受益匪淺。報(bào)告結(jié)束的時(shí)候，學(xué)院老師跟范教授共同探討是否可以將二階神經(jīng)元應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域，在范教授介紹的研究內(nèi)容上拓展出了新的思路和想法。
永利yl23411官網(wǎng)
2023年11月15日
當(dāng)前位置：