前言:

人工智能時代,隨著AI應用的普及,AI領域迫切需要性能更強、功耗更低、成本更低的芯片。

這其中,以深度學習為代表的AI算法更需要頻繁地進行數據存取,低功耗和高性能之間的矛盾一直是端側AI芯片落地的難題。

作者 | 方文

存算一體芯片市場為何被看好

存算一體技術被視為人工智能創(chuàng)新的核心。存內計算突破了傳統(tǒng)馮諾依曼瓶頸,實現了存儲單元與邏輯單元的融合,是實現智能計算的主要技術路線之一。

它將存儲和計算有機結合,直接利用存儲單元進行計算,極大地消除了數據搬移帶來的開銷,解決了傳統(tǒng)芯片在運行人工智能算法上的“存儲墻”與“功耗墻”問題,可以數十倍甚至百倍地提高人工智能運算效率,降低成本。

當前的存內計算技術主要面臨著硬件資源復用、存內計算單元設計和模擬運算實現等關鍵挑戰(zhàn)亟待解決。

國內外存內計算賽道火熱

目前,全球存內計算有不少玩家。除了學術界,產業(yè)界也越來越多的玩家布局該技術。

IBM基于其獨特的相變存內計算已經有了數年的技術積累,臺積電正大力推進基于ReRAM的存內計算方案;英特爾、博世、美光、Lam Research、應用材料、微軟、亞馬遜、軟銀則投資了基于NOR Flash的存內計算芯片。

5月Myhtic C輪融資了7000萬美元,迄今為止已共計籌集了1．65億美元;6月10日,知存科技宣布完成億元A3輪融資,產品線擴充及新的產品量產,加上此前的兩輪融資,截至目前,知存科技已完成累計近3億元的A輪系列融資。

6月25日九天睿芯獲億元級A輪融資,用于新產品研發(fā)和人員擴充的工作;7月2日,杭州智芯科完成近億元的天使輪融資,用于繼續(xù)搭建團隊,啟動ACIM下一階段技術研發(fā)與市場拓展。

8月24日,后摩智能宣布完成3億元人民幣Pre-A輪融資,將用于加速芯片產品技術研發(fā)、團隊拓展,早期市場布局及商業(yè)落地;8月24日,蘋芯科技完成近千萬美元Pre-A輪融資,據悉,本輪融資將主要用于芯片研發(fā)相關工作。

這些存算一體芯片公司有的處于團隊搭建階段,有的是正在芯片研發(fā)階段,還有的已經到了產品線擴充和量產階段。

前幾年這個市場國內也就僅有3-4家嶄露頭角的企業(yè),但現在存算一體這個賽道顯然已經開始變得熱鬧起來了。

哪類存儲做存內計算最好

目前能做存內計算的存儲器并不多,除了FLASH,還有憶阻器、相變存儲器、鐵電存儲器、自旋存儲器、SRAM等,但各有各的優(yōu)缺點。

比如,IBM在相變存儲(PCRAM)里實現神經網絡計算的功能,利用新型存儲器件的模擬計算功能來實現神經網絡的計算。

加州大學圣芭芭拉分校謝源教授在新型存儲器件ReRAM(阻變存儲)里面做計算的功能,讓存儲器件做神經網絡的計算,稱之為PRIME架構。

有些工廠把目光投向了NOR FLASH,綜合來看,NOR FLASH是目前最適合產業(yè)化的方向,眾多巨頭投資的美國初創(chuàng)公司Mythic采用的也正是NOR FLASH。NOR FLASH的優(yōu)勢不僅體現在功耗和成熟度等方面,高精度也是很大的優(yōu)勢。

由于在很多AI推理運算中,90%以上的運算資源都消耗在數據搬運的過程。芯片內部到外部的帶寬以及片上緩存空間限制了運算的效率。

所以有人說,存算一體化是下一代AI芯片的關鍵。

存內計算技術的關鍵挑戰(zhàn)

存內計算雖然可以突破傳統(tǒng)馮諾依曼架構的瓶頸,但是仍受到幾個關鍵問題的制約。

①硬件資源的復用問題。傳統(tǒng)馮諾依曼架構分立了存儲單元和邏輯單元,并根據距離邏輯單元的遠近,將存儲單元劃分為硬盤、內存、緩存等多級存儲模式。這使得有限的邏輯單元可以調用大量的存儲信息,實現了邏輯單元的復用,從而降低了片上資源的開銷。

②存算一體化單元的設計問題。存內運算對存算一體化單元的性能要求十分苛刻。在開銷上,存算一體化單元的硬件開銷應該控制在一定范圍內,至少要明顯低于分立的存儲單元和邏輯單元的開銷總和。

③模擬量運算的實現問題。人工智能算法的運算涉及批量的準模擬量運算。例如,算法對權重的變化范圍和精度要求較為苛刻,尤其是涉及網絡的訓練過程,權重精度的要求將超過6bits。然而,在硬件實現過程中,數字量的精準運算開銷較大。

結尾:

人工智能的硬件化加速方法朝著多元化的方向發(fā)展,各種類型的加速方法的研究同步推進,各具特色且難以相互替代。

目前國內外在存算一體方面都處于起步階段,存算一體正處于學術界向工業(yè)界遷移的關鍵時期,所以這可能是我們發(fā)展國產芯片的另一大重要方向。

部分內容來源于:中國信息通信研究院CAICT:存內計算技術發(fā)展趨勢分析 ;沉寂近30年后火了!存內計算如何打破AI算力瓶頸?;半導體行業(yè)觀察:存內計算能否成為下一代AI芯片的關鍵;EEWORLD:存內計算:讓AI進入高速路;半導體觀察:存內計算,要爆發(fā)了?;有思想的talk君:王紹迪:存算一體為什么是AI時代主流計算架構?