關(guān)于我們
書(shū)單推薦
新書(shū)推薦
|
融合數(shù)字電路與存內(nèi)計(jì)算的高能效神經(jīng)網(wǎng)絡(luò)處理器(英文版)
"《融合數(shù)字電路與存內(nèi)計(jì)算的高能效神經(jīng)網(wǎng)絡(luò)處理器(英文版)》從純數(shù)字電路和融合存內(nèi)計(jì)算的高能效神經(jīng)網(wǎng)絡(luò)處理器兩個(gè)角度開(kāi)展了四項(xiàng)主要的研究工作。
在數(shù)字電路神經(jīng)網(wǎng)絡(luò)處理器層面,一方面針對(duì)傳統(tǒng)架構(gòu)數(shù)據(jù)復(fù)用優(yōu)化不充分的問(wèn)題,提出了針對(duì)特定卷積核優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)處理器 KOP3。另一方面,針對(duì)不規(guī)則稀疏網(wǎng)絡(luò)壓縮技術(shù)引起的顯著額外功耗面積開(kāi)銷(xiāo),采用結(jié)構(gòu)化頻域壓縮算法 CirCNN,提出整體并行-比特串行的 FFT 電路、低功耗分塊轉(zhuǎn)置 TRAM 和頻域二維數(shù)據(jù)復(fù)用陣列,以規(guī)則的方式壓縮了存儲(chǔ)和計(jì)算量。設(shè)計(jì)并流片驗(yàn)證的 STICKER-T芯片實(shí)現(xiàn)了面積效率和能量效率的提升。在融合數(shù)字電路與存內(nèi)計(jì)算的神經(jīng)網(wǎng)絡(luò)處理器層面,融合了數(shù)字電路的靈活性和存內(nèi)計(jì)算 IP 的高能效特性,進(jìn)一步提升能量效率。一方面通過(guò)分塊結(jié)構(gòu)化權(quán)重稀疏與激活值動(dòng)態(tài)稀疏、核心內(nèi)/外高效數(shù)據(jù)復(fù)用與網(wǎng)絡(luò)映射策略、支持動(dòng)態(tài)關(guān)斷 ADC 的存內(nèi)計(jì)算 IP,設(shè)計(jì)流片了存內(nèi)計(jì)算系統(tǒng)芯片 STICKER-IM,在存內(nèi)計(jì)算芯片中實(shí)現(xiàn)了稀疏壓縮技術(shù)。另一方面,進(jìn)一步針對(duì)現(xiàn)有工作與大模型實(shí)際應(yīng)用之間的差距,指出了大模型權(quán)重更新引起的性能下降和稀疏利用不充分等問(wèn)題,提出了組相聯(lián)分塊稀疏電路、乒乓存內(nèi)計(jì)算電路和可調(diào)采樣精度 ADC 技術(shù)。設(shè)計(jì)并流片驗(yàn)證的STICKER-IM2 芯片考慮了存內(nèi)計(jì)算的權(quán)重更新代價(jià),實(shí)現(xiàn)了 ImageNet 數(shù)據(jù)集上的高能效和較高準(zhǔn)確率驗(yàn)證。"
你還可能感興趣
我要評(píng)論
|