2018高清国产一区二区三区-国产黄色视频免费在线观看-欧美激情欧美精品一区二区-免费国产一级片内射老妇

存(cun)算(suan)(suan)(suan)一體芯片作為一種新型(xing)架(jia)構(gou)，可以(yi)有效解(jie)決(jue)傳統馮(feng)·諾依曼架(jia)構(gou)在處(chu)理(li)人工智能算(suan)(suan)(suan)法時性能和能效存(cun)在的(de)(de)訪(fang)存(cun)瓶(ping)頸限制。尤其(qi)是基于交(jiao)叉陣列的(de)(de)存(cun)算(suan)(suan)(suan)一體技術，通(tong)過在存(cun)儲器中原位執(zhi)行(xing)(xing)矩陣向量乘(cheng)，利用存(cun)儲單元的(de)(de)固(gu)有并行(xing)(xing)度大幅提升計算(suan)(suan)(suan)性能，并消除(chu)部(bu)分訪(fang)存(cun)，能夠成百上千倍地提升深度神經網(wang)絡推理(li)的(de)(de)性能和能效。

近些年來，學(xue)(xue)術界在(zai)存(cun)(cun)算(suan)(suan)(suan)一體(ti)的各個方面都進行了(le)(le)大(da)量探索(suo)，提出了(le)(le)眾(zhong)多存(cun)(cun)算(suan)(suan)(suan)一體(ti)加速器(qi)架構，中科(ke)(ke)院微電子所、清華大(da)學(xue)(xue)、斯坦福(fu)大(da)學(xue)(xue)等單位也制備出了(le)(le)存(cun)(cun)算(suan)(suan)(suan)一體(ti)芯片(pian)原型。國(guo)內也涌現出了(le)(le)一批存(cun)(cun)算(suan)(suan)(suan)一體(ti)初創企業，包(bao)括知存(cun)(cun)科(ke)(ke)技、后(hou)摩智能、億鑄科(ke)(ke)技、蘋芯科(ke)(ke)技等等，它們研發(fa)了(le)(le)基于SRAM、閃存(cun)(cun)、RRAM等存(cun)(cun)儲器(qi)的存(cun)(cun)算(suan)(suan)(suan)一體(ti)芯片(pian)，且已(yi)有(you)產品問世。

然而，當前(qian)存算一體芯片的(de)發展(zhan)還處于起(qi)步階段(duan)，面臨著諸多挑戰(zhan)，其中(zhong)最(zui)重要一點(dian)便是(shi)生(sheng)態與(yu)編程框(kuang)架(jia)不完善，缺(que)乏相應(ying)的(de)指令(ling)集與(yu)軟件(jian)工具。

一(yi)(yi)方面，各(ge)單位(wei)、公司開發(fa)的(de)(de)(de)存算(suan)(suan)一(yi)(yi)體(ti)(ti)芯(xin)片(pian)均基于自行(xing)定(ding)義的(de)(de)(de)編(bian)程接口(kou)，缺乏統一(yi)(yi)的(de)(de)(de)編(bian)程接口(kou)，造成了存算(suan)(suan)一(yi)(yi)體(ti)(ti)軟件生(sheng)態的(de)(de)(de)分散(san)，不(bu)同廠商開發(fa)的(de)(de)(de)上層(ceng)軟件無(wu)法互(hu)相(xiang)通用(yong)，極(ji)大(da)的(de)(de)(de)影(ying)響了存算(suan)(suan)一(yi)(yi)體(ti)(ti)芯(xin)片(pian)的(de)(de)(de)大(da)規模使用(yong)。

另一方面，除了高效(xiao)的硬件(jian)設計，神(shen)經(jing)網絡模型面向存算一體架構時(shi)，計算任務如(ru)何映射、調度，也是發(fa)揮(hui)神(shen)經(jing)網絡加速器性能和能效(xiao)的關鍵(jian)。

總體(ti)(ti)而言(yan)，現階段，行(xing)業(ye)內尚缺乏神經網絡面向存算(suan)一體(ti)(ti)芯(xin)片(pian)的自(zi)動化部署(shu)方法和工具。

存算一體芯片有了開源指令集(ji)和(he)編譯器

我(wo)們注意到，在今(jin)年的(de)(de)集(ji)成(cheng)(cheng)電路EDA領域頂級(ji)會(hui)議IEEE/ACMDesignAutomationConference（DAC）上，中國科學(xue)院計(ji)(ji)算技術(shu)研究(jiu)所智(zhi)能計(ji)(ji)算機中心(xin)陳曉明(ming)和韓(han)銀和研究(jiu)員團隊發表論文，公布了(le)一(yi)(yi)(yi)項(xiang)(xiang)新(xin)的(de)(de)研究(jiu)成(cheng)(cheng)果：PIMCOMP-NN存(cun)(cun)(cun)算一(yi)(yi)(yi)體(ti)通(tong)用(yong)編譯器(qi)和PIMSIM-NN——存(cun)(cun)(cun)算一(yi)(yi)(yi)體(ti)通(tong)用(yong)模(mo)擬器(qi)，二者(zhe)基于一(yi)(yi)(yi)套之前該團隊開源的(de)(de)存(cun)(cun)(cun)算一(yi)(yi)(yi)體(ti)指令集(ji)，構成(cheng)(cheng)了(le)完(wan)整(zheng)的(de)(de)開源存(cun)(cun)(cun)算一(yi)(yi)(yi)體(ti)工具(ju)鏈，該項(xiang)(xiang)工作或將(jiang)為存(cun)(cun)(cun)算一(yi)(yi)(yi)體(ti)芯片建立統一(yi)(yi)(yi)的(de)(de)生態做出一(yi)(yi)(yi)定的(de)(de)貢(gong)獻(xian)。

下面(mian)讓我們(men)來分析下他們(men)的這項研究(jiu)。

該(gai)論文詳(xiang)細描述了(le)一整(zheng)套面向神(shen)經網絡的存(cun)算一體工具鏈(lian)(lian)，框架如圖(tu)1所示。這套工具鏈(lian)(lian)的核心由兩部分組(zu)成：

編譯器PIMCOMP-NN：編譯器PIMCOMP-NN接收ONNX格式的神經(jing)網絡描述和一(yi)組存算一(yi)體架構配置參數作為輸入，通過(guo)編譯優(you)化生(sheng)成(cheng)指令序列。

模擬(ni)器(qi)PIMSIM-NN接(jie)收編(bian)譯(yi)器(qi)：模擬(ni)器(qi)PIMSIM-NN接(jie)收編(bian)譯(yi)器(qi)生成的(de)指令序列和架構配置參(can)數（與(yu)編(bian)譯(yi)器(qi)所用相(xiang)同(tong)）作為輸(shu)入，通過行(xing)(xing)為級模擬(ni)，得(de)到神經網絡在(zai)存(cun)算(suan)一體架構上運行(xing)(xing)的(de)性能(neng)、能(neng)耗和功耗。

該套(tao)工具(ju)基(ji)于(yu)統(tong)一的對軟硬件抽象建模而(er)開(kai)發(fa)，不(bu)針對具(ju)體(ti)的存(cun)算(suan)(suan)一體(ti)芯片(pian)，也不(bu)限制存(cun)算(suan)(suan)一體(ti)器件，因此可(ke)向(xiang)上對接不(bu)同的神經網(wang)絡算(suan)(suan)法，向(xiang)下屏蔽存(cun)算(suan)(suan)一體(ti)芯片(pian)硬件細節(jie)。

圖1面向神經(jing)網絡的(de)存算(suan)一(yi)體工具鏈

該(gai)工(gong)具鏈(lian)建立(li)在一(yi)(yi)(yi)(yi)套面向神經網絡(luo)的(de)存(cun)(cun)算(suan)(suan)(suan)一(yi)(yi)(yi)(yi)體指(zhi)令集基礎上。指(zhi)令集作(zuo)為芯片軟硬件設計的(de)接口，對于軟件生態(tai)有(you)著舉足經重的(de)作(zuo)用，為了(le)使工(gong)具鏈(lian)對多(duo)種多(duo)樣的(de)存(cun)(cun)算(suan)(suan)(suan)一(yi)(yi)(yi)(yi)體芯片的(de)底層(ceng)操作(zuo)具有(you)通用性，該(gai)課(ke)題組首先抽象(xiang)了(le)存(cun)(cun)算(suan)(suan)(suan)一(yi)(yi)(yi)(yi)體架構支持的(de)基本(ben)算(suan)(suan)(suan)子，定義了(le)一(yi)(yi)(yi)(yi)套統一(yi)(yi)(yi)(yi)的(de)面向神經網絡(luo)的(de)存(cun)(cun)算(suan)(suan)(suan)一(yi)(yi)(yi)(yi)體指(zhi)令集。

這些指(zhi)(zhi)令(ling)(ling)(ling)有四類(lei)，分別是(shi)矩陣(zhen)指(zhi)(zhi)令(ling)(ling)(ling)（例如矩陣(zhen)向量(liang)(liang)乘）、向量(liang)(liang)指(zhi)(zhi)令(ling)(ling)(ling)（例如向量(liang)(liang)加(jia)）、標量(liang)(liang)指(zhi)(zhi)令(ling)(ling)(ling)（主要是(shi)傳(chuan)統寄存(cun)器操(cao)作）和傳(chuan)輸指(zhi)(zhi)令(ling)(ling)(ling)（主要是(shi)各級存(cun)儲間的數據傳(chuan)輸指(zhi)(zhi)令(ling)(ling)(ling)），其(qi)中(zhong)每個指(zhi)(zhi)令(ling)(ling)(ling)對應硬件的一(yi)個抽(chou)象(xiang)操(cao)作。面(mian)對具(ju)體(ti)(ti)(ti)存(cun)算一(yi)體(ti)(ti)(ti)芯片(pian)時，可(ke)通過轉(zhuan)化程序方便地翻譯(yi)到具(ju)體(ti)(ti)(ti)的硬件指(zhi)(zhi)令(ling)(ling)(ling)上。

進一(yi)步來(lai)看，PIMCOMP-NN是一(yi)個(ge)(ge)面向(xiang)存算(suan)(suan)(suan)陣列(lie)架(jia)構(gou)的(de)神(shen)(shen)經網(wang)絡通(tong)(tong)用(yong)編譯框(kuang)架(jia)，它建立在對(dui)(dui)硬(ying)件架(jia)構(gou)和算(suan)(suan)(suan)子的(de)統(tong)一(yi)抽(chou)象基礎之上(shang)。為(wei)(wei)實現(xian)(xian)對(dui)(dui)上(shang)層算(suan)(suan)(suan)法(fa)的(de)通(tong)(tong)用(yong)性，PIMCOMP-NN采用(yong)ONNX格式的(de)神(shen)(shen)經網(wang)絡描述(shu)作為(wei)(wei)輸入(ru)，因而可(ke)以處理多(duo)(duo)種(zhong)多(duo)(duo)樣(yang)的(de)神(shen)(shen)經網(wang)絡模型。為(wei)(wei)實現(xian)(xian)對(dui)(dui)硬(ying)件架(jia)構(gou)的(de)通(tong)(tong)用(yong)性，PIMCOMP-NN建立在一(yi)個(ge)(ge)抽(chou)象的(de)存算(suan)(suan)(suan)架(jia)構(gou)之上(shang)，如圖(tu)2所示。該(gai)(gai)抽(chou)象架(jia)構(gou)由多(duo)(duo)個(ge)(ge)核心構(gou)成(cheng)，每個(ge)(ge)核心包(bao)括存算(suan)(suan)(suan)一(yi)體矩陣單元來(lai)完成(cheng)矩陣-向(xiang)量(liang)乘法(fa)運算(suan)(suan)(suan)和向(xiang)量(liang)計算(suan)(suan)(suan)單元來(lai)完成(cheng)向(xiang)量(liang)計算(suan)(suan)(suan)。課題組定義了(le)一(yi)組統(tong)一(yi)的(de)參數來(lai)描述(shu)該(gai)(gai)抽(chou)象架(jia)構(gou)。該(gai)(gai)架(jia)構(gou)可(ke)適配已有研究中廣泛采用(yong)的(de)多(duo)(duo)層次Crossbar/PE/Tile/Chip結構(gou)，包(bao)括發表在ISCA、ASPLOS、ISSCC等多(duo)(duo)個(ge)(ge)頂會上(shang)的(de)多(duo)(duo)種(zhong)存算(suan)(suan)(suan)一(yi)體加速器。

圖(tu)2抽象存算一體架構

PIMCOMP-NN實現了(le)從神(shen)(shen)經(jing)網絡(luo)結構(gou)描述到指(zhi)令(ling)流(liu)的(de)(de)(de)自動化(hua)生(sheng)成，并(bing)在編(bian)譯(yi)過(guo)程(cheng)中優(you)(you)化(hua)任務映射和(he)調(diao)度，其框架如圖3所示。編(bian)譯(yi)器前端將讀取(qu)用(yong)戶提供的(de)(de)(de)抽象架構(gou)配置參數(shu)（陣(zhen)列(lie)尺(chi)寸、核(he)心(xin)數(shu)目、芯片(pian)數(shu)目等(deng)），同(tong)時加載基于ONNX的(de)(de)(de)神(shen)(shen)經(jing)網絡(luo)模型，通(tong)過(guo)預處理(li)得到神(shen)(shen)經(jing)網絡(luo)模型的(de)(de)(de)拓(tuo)撲關系和(he)參數(shu)信息(xi)。編(bian)譯(yi)器后(hou)端包(bao)括四(si)個通(tong)用(yong)編(bian)譯(yi)優(you)(you)化(hua)階(jie)(jie)段：節點(dian)劃分、權(quan)重復制、核(he)心(xin)映射和(he)數(shu)據流(liu)調(diao)度，這(zhe)四(si)個階(jie)(jie)段均在所定義的(de)(de)(de)偽指(zhi)令(ling)集基礎(chu)上實施。通(tong)過(guo)節點(dian)劃分，靈活地將權(quan)重數(shu)據進行拆(chai)分以適應(ying)(ying)陣(zhen)列(lie)尺(chi)寸。通(tong)過(guo)權(quan)重復制，充分利用(yong)存算陣(zhen)列(lie)資源。通(tong)過(guo)核(he)心(xin)映射，高效分配計算任務。通(tong)過(guo)數(shu)據流(liu)調(diao)度，產(chan)生(sheng)運行完整神(shen)(shen)經(jing)網絡(luo)的(de)(de)(de)指(zhi)令(ling)流(liu)。此外(wai)，為了(le)適應(ying)(ying)不同(tong)應(ying)(ying)用(yong)場景，論文設計了(le)兩種具有不同(tong)層間流(liu)水線(xian)粒度的(de)(de)(de)編(bian)譯(yi)模式(shi)，分別(bie)具有高吞吐量和(he)低延(yan)(yan)遲的(de)(de)(de)特點(dian)，在編(bian)譯(yi)過(guo)程(cheng)中分別(bie)優(you)(you)化(hua)整體吞吐量和(he)推理(li)延(yan)(yan)遲。

圖3PIMCOMP-NN編譯器框架

PIMSIM-NN是(shi)(shi)一個(ge)(ge)基(ji)于指令(ling)的(de)(de)(de)(de)(de)(de)存算一體(ti)(ti)系(xi)統模(mo)(mo)(mo)擬(ni)器，PIMSIM-NN的(de)(de)(de)(de)(de)(de)整(zheng)體(ti)(ti)架(jia)構(gou)(gou)如圖4所示(shi)，從上到下分別是(shi)(shi)芯片(pian)-核心(xin)-基(ji)礎(chu)模(mo)(mo)(mo)塊-模(mo)(mo)(mo)擬(ni)引擎SystemC，整(zheng)個(ge)(ge)芯片(pian)由(you)多(duo)個(ge)(ge)核心(xin)通(tong)過(guo)片(pian)上互連(lian)網絡連(lian)接(jie)形成，核心(xin)則由(you)多(duo)個(ge)(ge)內部模(mo)(mo)(mo)塊構(gou)(gou)成，核心(xin)內部模(mo)(mo)(mo)塊使用(yong)基(ji)礎(chu)模(mo)(mo)(mo)塊搭建(jian)，最終在(zai)SystemC的(de)(de)(de)(de)(de)(de)框架(jia)下運(yun)行(xing)。PIMSIM-NN接(jie)收指令(ling)序(xu)(xu)(xu)列文(wen)件(jian)(jian)和架(jia)構(gou)(gou)配置(zhi)文(wen)件(jian)(jian)作為(wei)輸入(ru)。指令(ling)序(xu)(xu)(xu)列文(wen)件(jian)(jian)包含每個(ge)(ge)核心(xin)的(de)(de)(de)(de)(de)(de)指令(ling)序(xu)(xu)(xu)列，由(you)編(bian)譯器PIMCOMP-NN生成。架(jia)構(gou)(gou)配置(zhi)文(wen)件(jian)(jian)則對存算一體(ti)(ti)架(jia)構(gou)(gou)的(de)(de)(de)(de)(de)(de)各項(xiang)參數進行(xing)配置(zhi)，使模(mo)(mo)(mo)擬(ni)器能夠仿(fang)(fang)真(zhen)(zhen)不同(tong)的(de)(de)(de)(de)(de)(de)存算一體(ti)(ti)架(jia)構(gou)(gou)。核心(xin)設計是(shi)(shi)PIMSIM-NN的(de)(de)(de)(de)(de)(de)重點，主要有(you)4個(ge)(ge)處理單(dan)元(yuan)(yuan)，分別是(shi)(shi)矩陣(zhen)單(dan)元(yuan)(yuan)、向(xiang)量單(dan)元(yuan)(yuan)、傳輸單(dan)元(yuan)(yuan)和標量單(dan)元(yuan)(yuan)。矩陣(zhen)單(dan)元(yuan)(yuan)的(de)(de)(de)(de)(de)(de)核心(xin)是(shi)(shi)存算陣(zhen)列單(dan)元(yuan)(yuan)，其會(hui)預先寫(xie)入(ru)權重數據，在(zai)運(yun)行(xing)時(shi)原(yuan)地執行(xing)矩陣(zhen)-向(xiang)量乘運(yun)算，避免權重數據的(de)(de)(de)(de)(de)(de)搬運(yun)，降低(di)延遲(chi)和功耗(hao)。向(xiang)量單(dan)元(yuan)(yuan)則負責激活函(han)數和池化等(deng)操作，完成一些(xie)非線性操作。傳輸模(mo)(mo)(mo)塊則負責核間(jian)的(de)(de)(de)(de)(de)(de)數據交換，傳輸少量的(de)(de)(de)(de)(de)(de)中間(jian)結(jie)果(guo)(guo)，并負責核間(jian)同(tong)步(bu)操作。PIMSIM-NN采用(yong)了(le)事(shi)件(jian)(jian)驅(qu)動仿(fang)(fang)真(zhen)(zhen)模(mo)(mo)(mo)型，基(ji)于開源的(de)(de)(de)(de)(de)(de)事(shi)件(jian)(jian)驅(qu)動引擎SystemC編(bian)寫(xie)，擁(yong)有(you)良好的(de)(de)(de)(de)(de)(de)擴展性并能得(de)到精(jing)確(que)的(de)(de)(de)(de)(de)(de)仿(fang)(fang)真(zhen)(zhen)結(jie)果(guo)(guo)。PIMSIM-NN基(ji)于圖5所示(shi)的(de)(de)(de)(de)(de)(de)抽象流水(shui)線架(jia)構(gou)(gou)進行(xing)仿(fang)(fang)真(zhen)(zhen)，各模(mo)(mo)(mo)塊通(tong)過(guo)SystemC建(jian)模(mo)(mo)(mo)，在(zai)事(shi)件(jian)(jian)驅(qu)動的(de)(de)(de)(de)(de)(de)引擎中，在(zai)仿(fang)(fang)真(zhen)(zhen)過(guo)程中高效地進行(xing)交互。

利用該(gai)套(tao)工具鏈(lian)，可(ke)(ke)實(shi)現深度神經網(wang)(wang)絡(luo)(luo)在存算一(yi)體架(jia)構(gou)(gou)上的(de)(de)(de)(de)(de)快速(su)自動化(hua)部(bu)署，它(ta)不(bu)僅在部(bu)署過程中優(you)化(hua)了(le)任(ren)務映(ying)射和調度，還對生成的(de)(de)(de)(de)(de)指令序(xu)列進(jin)行相(xiang)關性能指標的(de)(de)(de)(de)(de)評(ping)估。與此同(tong)時，該(gai)套(tao)工具鏈(lian)相(xiang)較(jiao)于(yu)之(zhi)前的(de)(de)(de)(de)(de)存算一(yi)體架(jia)構(gou)(gou)模擬器(qi)有了(le)較(jiao)大的(de)(de)(de)(de)(de)改(gai)(gai)進(jin)。先前的(de)(de)(de)(de)(de)模擬器(qi)大多(duo)采用數據(ju)流(liu)架(jia)構(gou)(gou)，能夠(gou)支持(chi)的(de)(de)(de)(de)(de)網(wang)(wang)絡(luo)(luo)結(jie)構(gou)(gou)固(gu)定，網(wang)(wang)絡(luo)(luo)映(ying)射方(fang)(fang)(fang)式單(dan)一(yi)，而(er)該(gai)工具鏈(lian)基于(yu)抽象的(de)(de)(de)(de)(de)存算一(yi)體指令集架(jia)構(gou)(gou)，在編(bian)(bian)譯(yi)(yi)(yi)器(qi)的(de)(de)(de)(de)(de)支持(chi)下能夠(gou)處理更多(duo)的(de)(de)(de)(de)(de)網(wang)(wang)絡(luo)(luo)結(jie)構(gou)(gou)，并支持(chi)更靈活(huo)的(de)(de)(de)(de)(de)計(ji)算任(ren)務映(ying)射方(fang)(fang)(fang)式。編(bian)(bian)譯(yi)(yi)(yi)器(qi)提供了(le)多(duo)種(zhong)預設(she)的(de)(de)(de)(de)(de)編(bian)(bian)譯(yi)(yi)(yi)優(you)化(hua)方(fang)(fang)(fang)案(an)可(ke)(ke)供選擇，同(tong)時也可(ke)(ke)以修改(gai)(gai)編(bian)(bian)譯(yi)(yi)(yi)器(qi)代碼實(shi)現其它(ta)編(bian)(bian)譯(yi)(yi)(yi)優(you)化(hua)方(fang)(fang)(fang)案(an)，通(tong)過結(jie)合(he)(he)模擬結(jie)果的(de)(de)(de)(de)(de)迭(die)代反饋(kui)可(ke)(ke)進(jin)一(yi)步實(shi)現編(bian)(bian)譯(yi)(yi)(yi)空(kong)間探索，尋找(zhao)針(zhen)對給定存算一(yi)體架(jia)構(gou)(gou)的(de)(de)(de)(de)(de)最(zui)優(you)的(de)(de)(de)(de)(de)編(bian)(bian)譯(yi)(yi)(yi)優(you)化(hua)策略，甚(shen)至是編(bian)(bian)譯(yi)(yi)(yi)優(you)化(hua)與架(jia)構(gou)(gou)設(she)計(ji)結(jie)合(he)(he)的(de)(de)(de)(de)(de)軟硬件協同(tong)設(she)計(ji)。

結語

中國科學(xue)院計算(suan)技(ji)術(shu)研究所智(zhi)能計算(suan)機中心所推(tui)出的(de)(de)完整開源存(cun)算(suan)一(yi)(yi)(yi)體工具鏈，可以(yi)說是存(cun)算(suan)一(yi)(yi)(yi)體領域的(de)(de)一(yi)(yi)(yi)項重要突破。這一(yi)(yi)(yi)工具鏈不僅增(zeng)強(qiang)了(le)存(cun)算(suan)一(yi)(yi)(yi)體架構的(de)(de)定(ding)制化和靈活性，還(huan)促(cu)進了(le)深(shen)度神經網絡在存(cun)算(suan)一(yi)(yi)(yi)體架構上的(de)(de)高效自動(dong)化部署。

隨著(zhu)開源理念在存(cun)(cun)算一(yi)體領域的拓(tuo)展，將(jiang)有(you)助于行業建立統(tong)一(yi)的編程(cheng)和(he)接口標(biao)準(zhun)，從而使來自(zi)不同廠商和(he)研究機構的產品(pin)實現互通(tong)。這一(yi)標(biao)準(zhun)化進(jin)程(cheng)將(jiang)有(you)助于解決目前(qian)存(cun)(cun)算一(yi)體芯片領域的碎片化問題，提高生態系統(tong)的協(xie)同效率。進(jin)一(yi)步推動(dong)存(cun)(cun)算一(yi)體芯片更(geng)容易與(yu)人工智能、大數據、物(wu)聯網等產業相結合，形(xing)成更(geng)加豐富和(he)復雜的應用場景。