侵權投訴

有效解決內存墻問題 存算一體正處在快速發展階段

Carol Li ? 來源:電子發燒友網 ? 作者:李彎彎 ? 2021-10-26 07:45 ? 次閱讀

電子發燒友網報道(文/李彎彎)隨著技術的發展,現在計算的任務越來越復雜,需要的數據也越來越多,而在馮諾依曼架構中,數據需要在存儲、內存、緩存、計算單元中不斷搬運,造成大部分時間、帶寬、緩存、功耗都消耗在數據搬運上,而不是計算上,因此內存墻都成了一個越來越嚴重的問題。

這種問題在人工智能計算中尤為明顯,知存科技創始人兼CEO王紹迪近日在某論壇分享到:“這種數據搬運消耗的功耗超過95%以上,帶寬也會達到80%以上,比如片上緩存,1MB的SRAM和8KB的SRAM在數據搬運上消耗的功耗相差10倍?!币虼藰I界都在思考減少內存墻問題。

存算一體有效解決內存墻問題

存算一體主要有近存計算和存內計算。近存計算可以理解為通過先進封裝拉近存儲、內存和計算單元的距離,比如SRAM,在馮諾依曼架構中,很多時候SRAM用作緩存,多核共同使用,這樣緩存到每個核都有一定距離,數據搬運、訪問時間、功耗都會增加,王紹迪介紹:“近緩存計算把SRAM與計算單元合在一起,這個SRAM只供本地計算單元使用,數據訪問時間和帶寬都有很大提升?!?br />
存內計算比近存計算更高效,同時也更難以實現,存內計算一般是使用存儲的參數去完成計算,比如SRAM存內計算,Flash存內計算、以及RRAM存內計算。存內計算實際上是一個計算的模塊,而不再是存儲的模塊,實踐的方式是用存儲的參數去完成運算,從存儲器中讀出的數據是運算的結果,而不是存儲的數據。

在馮諾依曼架構中,不管是做加法運算還是乘法運算,都需要把數據從存儲架構中讀出來,包括緩存、內存、以及片外的存儲,最終將數據讀到計算單元中完成運算。從緩存中讀取數據,要消耗運算幾倍、幾十倍、甚至幾百倍的功耗,從內存讀取數據,搬運功耗是運算的近千倍,從外部的存儲讀取,達到上萬倍。

因此在數據量很大的計算中,馮諾依曼架構的效率就會非常低,而存內計算,存儲器中存儲了參數,被處理的數據作為輸入信號,被處理的信號流過存儲器中所有的參數,從存儲器中輸出的數據就是運算的結果。王紹迪表示,“存內計算的優勢在于,能夠將存儲器中眾多的存儲單元轉化為運算單元,這樣能計算的并行度就會大幅提高,從原來幾十、幾百個并行,到存內計算幾百萬、幾千萬、甚至幾億個乘加法的并行度,運算效率很高?!?br />
除了可以大規模并行運算,還可以很大程度節省數據帶寬。簡單來說,一個傳統的存儲器,多行多列,一次至多激活一行,讀取出一行的數據,而要把多行數據讀取出來,需要進行多個存儲器周期,分別激活每一行,讀出每一行的數據。而存內計算可以同時把輸入數據給多行,同時多行的輸入數據與每一行的參數做乘法運算,在列的方向直接把運算的結果讀取出來,它是同時多行多列并行激活的方法。


現在的存內計算可以做到千行千列同時開啟,使用效率比傳統存儲器提高近千倍,王紹迪談到:“整體來看,包括輸入輸出,存內計算運算效率一般會有幾十倍的提升,而且提升倍數還一直在增加,存內計算的發展速度很快,最近處于早期的快速發展階段,每年都有數倍性能的提升?!?br />
知存科技WTM2101智能解決方案

知存科技目前在存內計算領域較為領先,公司成立于2017年底,目前已經推出兩款存算一體芯片,其中WTM1001已經批量量產,WTM2101處于小批量階段,知存科技目前已經完成五輪融資。


WTM2101是一款尺寸很小的SOC芯片,包括一個1.8MB存內計算的Flash,該存儲模塊除了用于存內計算,也可以用于普通的存儲。王紹迪介紹:“這款芯片的封裝很小,可以用在可穿戴設備中,目前計算的功耗非常低,比如如果做連續100個詞到300個詞的識別,功耗可以控制在1mA以內,其中100個詞可以功耗可以到60微安。該芯片在運行語音識別、語音增強、物體識別、智能健康,以及其他的一些AI算法上,可以把算力和效率提升20倍到50倍?!?br />
另外WTM2101首次用了獨有的專利HPU,它是一個混合計算單元,實際上是把數字計算和模擬計算結合在一起,因為模擬計算有精度上限,為了提高精度,加了一個稀疏的計算單元,可以把存內計算的精度進一步提高,最高提高4比特。


存內計算未來的發展趨勢

隨著存內計算的發展,未來的應用場景也會越來越廣,當前存內計算主要應用在端側,一是受精度的限制,8比特,二是受容量,在幾兆的級別,三是算力,基本在0.1T到1T的范圍。

不過未來一兩年將會發展到邊側,精度會提高到12比特,容量會達到16兆到64兆,算力也可以提升到最大32T,這樣可以覆蓋很多邊緣側的應用需求。未來還會向云端發展,存內計算精度會達到到16比特,容量會超過1000M,算力會達到256T到1024T。

存內計算在云側、邊側、端側,存內計算的優勢各不相同,在端側,存內計算在功耗的限制下可以提供大的算力,在邊緣側,在功耗、體積限制下也有很強的算力,在云端,可以提供更低成本的解決方案。

存內計算現在處于一個很快的發展階段,未來幾年,每年都會有很快的迭代速度。早期,產業界對存內計算的關注不多,投入也很少,最近存內計算逐漸得到越來越多的關注,王紹迪認為,未來五年存內計算都會在處在非??焖俚陌l展階段,在各種各樣的場景中,進行規?;穆涞貞?。

收藏 人收藏
分享:

評論

相關推薦

RK3399在AI人臉識別中的應用-飛凌嵌入式

結合人工智能的熱門概念,人臉識別終端應運而生,很多小區、寫字樓、商超等都啟用了 人臉識別終端,設備同....
的頭像 欒新科 發表于 10-28 18:21 ? 18次 閱讀
RK3399在AI人臉識別中的應用-飛凌嵌入式

云聯萬物 數智未來 大華股份重磅發布Dahua Think #戰略

大華發布了一站式的人工智能開發平臺——大華巨靈平臺,體系化的物聯數智平臺——城市平臺2.0、企業平臺....
發表于 10-28 17:10 ? 111次 閱讀
云聯萬物 數智未來 大華股份重磅發布Dahua Think #戰略

英特爾為開發者注入強勁動力,實現Z級計算指日可待

計算正在CPU、GPU、應用加速器、互聯處理器、邊緣計算設備和FPGA的異構組合中延伸,所有這些都需....
的頭像 話說科技 發表于 10-28 17:08 ? 54次 閱讀

神州云動CRM簽約華控清交 驅動銷售業績增長

近日,國內專注密文計算體系的數據流通基礎設施建設企業華控清交與神州云動CloudCC達成合作,共同打....
的頭像 科訊視點 發表于 10-28 16:24 ? 97次 閱讀
神州云動CRM簽約華控清交 驅動銷售業績增長

DPU為前所未有的數據中心轉型提供動力

鎖定 2021 年 11 月 8 日至 11 日,準備好繼續提升在 4 月 GTC 大會上學到的知識....
的頭像 NVIDIA英偉達企業解決方案 發表于 10-28 15:32 ? 149次 閱讀

NVIDIA中國人工智能類音頻節目再次開講

由 NVIDIA 中國隆重推出的人工智能類音頻節目再次開講啦,在這里,你將與 NVIDIA 共同見證....
的頭像 NVIDIA英偉達企業解決方案 發表于 10-28 15:17 ? 138次 閱讀

NVIDIA發布高性能感知技術的最新項目

自主機器人所面臨的關鍵挑戰之一是感知和理解周圍的世界。 在 ROS World 2021 上,NVI....
的頭像 NVIDIA英偉達企業解決方案 發表于 10-28 15:05 ? 110次 閱讀
NVIDIA發布高性能感知技術的最新項目

NVIDIA駕駛飛往未來的“宇宙飛船”

NVIDIA 首席技術官 Michael Kagan,是以色列計算機技術領域最資深的專家之一。從大學....
的頭像 NVIDIA英偉達企業解決方案 發表于 10-28 14:43 ? 109次 閱讀

NVIDIA為機器人技術的飛躍制定了路線圖

Pieter Abbeel 在 NTECH 2021(NVIDIA 年度內部工程會議)上發表了在線演....
的頭像 NVIDIA英偉達企業解決方案 發表于 10-28 14:20 ? 125次 閱讀

持續深耕影像核心賽道,瞰瞰智能科技完成近億元A輪融資

北京瞰瞰智能科技有限公司(以下簡稱“瞰瞰智能科技”)宣布完成近億元人民幣A輪融資,由芯動能領投,淳中....
的頭像 西西 發表于 10-28 11:35 ? 454次 閱讀
持續深耕影像核心賽道,瞰瞰智能科技完成近億元A輪融資

三星將在線上舉行為期兩天的2021三星人工智能論壇活動

2021年11月1日至11月2日,三星將在線上舉行為期兩天的2021三星人工智能論壇(Samsung....
的頭像 三星半導體和顯示官方 發表于 10-28 11:22 ? 319次 閱讀

英特爾正式宣布建立統一開發者平臺Developer Zone

近日,英特爾公司正式宣布建立統一全新oneAPI 2022工具包和全新oneAPI卓越中心的開發者平....
的頭像 lhl545545 發表于 10-28 11:18 ? 151次 閱讀

安霸收購雷達感知AI算法公司Oculii

近日,人工智能視覺芯片公司Ambarella宣布收購雷達感知AI算法公司Oculii,加入Ambar....
的頭像 lhl545545 發表于 10-28 11:03 ? 268次 閱讀

資產追蹤行業中速率通信的優選產品

隨著生鮮電商崛起、人工智能、大數據、物聯網等技術的爆發,多家巨頭加碼冷鏈物流,冷鏈物流產業發展進入新....
的頭像 高新興物聯 發表于 10-28 11:03 ? 189次 閱讀

STMCube.AI的高級特性

STM32Cube.AI是意法半導體AI生態系統的一部分,是STM32Cube的一個擴展包,它可以自....
的頭像 意法半導體中國 發表于 10-28 10:05 ? 152次 閱讀
STMCube.AI的高級特性

華為聯手合作伙伴共同打造的固廢智能體解決方案

10月19日-21日,中國環境科學學會2021年科學技術年會在天津舉行。會議以“開局‘十四五’,助力....
的頭像 華為數字中國 發表于 10-28 10:00 ? 195次 閱讀

后疫情時代助百業突圍 服務機器人應用前景何在?

我國服務機器人行業發展前景如何,后疫情時代服務機器人有哪些創新性應用場景,對傳統行業提質升級能發揮哪....
發表于 10-28 09:53 ? 165次 閱讀
后疫情時代助百業突圍 服務機器人應用前景何在?

嵌入式人工智能簡介

嵌入式人工智能-簡要了解OPEN AI LAB嵌入式人工智能開發套件(EAIDK)AIoTOPEN AI LAB最開始聽到這個...
發表于 10-28 09:44 ? 0次 閱讀

Lexar雷克沙:讓品牌變得更加大眾化,打造性價比更高的產品

據了解,以前的Lexar雷克沙只做存儲卡、U盤和讀卡器,而新Lexar雷克沙不僅拓展了從SATA到P....
的頭像 話說科技 發表于 10-28 09:23 ? 109次 閱讀
Lexar雷克沙:讓品牌變得更加大眾化,打造性價比更高的產品

華為云AI院長峰會的價值思考 產學互為表里 攜手方見大道

去年年底國家工業信息安全發展研究中心發布的《人工智能與制造業融合發展白皮書2020》顯示,目前中國人....
的頭像 腦極體 發表于 10-28 08:53 ? 420次 閱讀
華為云AI院長峰會的價值思考 產學互為表里 攜手方見大道

什么叫嵌入式人工智能

什么是嵌入式人工智能,它的實際應用百度大腦、語音搜索、圖像、廣告跟搜索排序及自動駕駛,用一句簡單的話來概括就是在云端基于...
發表于 10-28 08:43 ? 0次 閱讀

MCU型號怎樣從STM32F103C8Tx修改為STM32F103VCTx呢

MCU型號怎樣從STM32F103C8Tx修改為STM32F103VCTx呢?具體的操作步驟有哪些? ...
發表于 10-28 08:41 ? 0次 閱讀

OPPO正式發布小布虛擬人

2021 OPPO 開發者大會今日在上海正式舉辦,OPPO隨后正式發布首個基于虛擬人多模態交互的手機....
的頭像 lhl545545 發表于 10-27 16:44 ? 165次 閱讀

2021 OPPO開發者大會:AON全天候視覺感知

2021 OPPO開發者大會:AON全天候視覺感知 2021 OPPO開發者大會上介紹了AON全天候....
的頭像 璟琰乀 發表于 10-27 15:17 ? 240次 閱讀
2021 OPPO開發者大會:AON全天候視覺感知

2021 OPPO開發者大會:小布助手OPPO AI應用的集中體現

10月27日,2021 OPPO開發者大會在上海正式開幕。 2021 OPPO開發者大會以“開放互融....
的頭像 汽車玩家 發表于 10-27 14:49 ? 287次 閱讀
2021 OPPO開發者大會:小布助手OPPO AI應用的集中體現

2021年OPPO開發者大會 AI小布助手月活動數目突破1.3億

2021年OPPO開發者大會劉海鋒:AI小布助手月活動數目突破1.3億,是一款多終端、多模態對話式智....
的頭像 lhl545545 發表于 10-27 14:45 ? 274次 閱讀
2021年OPPO開發者大會 AI小布助手月活動數目突破1.3億

2021 OPPO開發者大會:OPPO智能的組成

10月27日,2021 OPPO開發者大會在上海正式開幕。 2021 OPPO開發者大會以“開放互融....
的頭像 汽車玩家 發表于 10-27 14:40 ? 124次 閱讀
2021 OPPO開發者大會:OPPO智能的組成

2021 OPPO開發者大會:小布AIOT服務平臺

2021 OPPO開發者大會:小布AIOT服務平臺 2021 OPPO開發者大會上介紹了小布AIOT....
的頭像 璟琰乀 發表于 10-27 14:27 ? 137次 閱讀
2021 OPPO開發者大會:小布AIOT服務平臺

2021年OPPO開發者大會:賦能開發者

小布開放平臺將為軟硬件開發者提供AI基礎能力支撐,全面降低開發者運用AI核心能力進行開發的門檻,賦能....
的頭像 倩倩 發表于 10-27 14:17 ? 96次 閱讀
2021年OPPO開發者大會:賦能開發者

2021年OPPO開發者大會:AI方面的思考

OPPO數智工程事業部總裁劉海峰分享了OPPO在AI方面的思考
的頭像 倩倩 發表于 10-27 14:02 ? 106次 閱讀
2021年OPPO開發者大會:AI方面的思考

2021 OPPO開發者大會:AI小布虛擬人

2021 OPPO開發者大會:AI小布虛擬人 2021 OPPO開發者大會上介紹了AI小布虛擬人。 ....
的頭像 璟琰乀 發表于 10-27 11:40 ? 146次 閱讀
2021 OPPO開發者大會:AI小布虛擬人

2021 OPPO開發者大會:AI能力領先方面

2021 OPPO開發者大會:AI能力領先方面 2021 OPPO開發者大會上介紹了AI能力領先方面....
的頭像 璟琰乀 發表于 10-27 11:36 ? 121次 閱讀
2021 OPPO開發者大會:AI能力領先方面

2021 OPPO開發者大會主會場:OPPO AI與開發者攜手推進生態變革

2021 OPPO開發者大會主會場:OPPO AI與開發者攜手推進生態變革
的頭像 lhl545545 發表于 10-27 11:36 ? 162次 閱讀
2021 OPPO開發者大會主會場:OPPO AI與開發者攜手推進生態變革

2021OPPO開發者大會 OPPO數智工程事業部總裁劉海峰分析AI服務新生態

2021OPPO開發者大會 OPPO數智工程事業部總裁劉海峰分析AI服務新生態 在小布助手開場之后,....
的頭像 inr999 發表于 10-27 11:31 ? 567次 閱讀
2021OPPO開發者大會 OPPO數智工程事業部總裁劉海峰分析AI服務新生態

2021 OPPO開發者大會:正式發布小布虛擬人定制平臺

2021 OPPO開發者大會:正式發布小布虛擬人定制平臺 2021 OPPO開發者大會上介紹了千人千....
的頭像 璟琰乀 發表于 10-27 11:26 ? 91次 閱讀
2021 OPPO開發者大會:正式發布小布虛擬人定制平臺

2021 OPPO開發者大會:安全可信的AI服務

2021 OPPO開發者大會:安全可信的AI服務 2021 OPPO開發者大會上介紹了安全可信的應用....
的頭像 璟琰乀 發表于 10-27 11:23 ? 93次 閱讀
2021 OPPO開發者大會:安全可信的AI服務

2021 OPPO開發者大會:支撐4.6億用戶的AI服務是如何構建的

2021 OPPO開發者大會:支撐4.6億用戶的AI服務是如何構建的 2021 OPPO開發者大會上....
的頭像 璟琰乀 發表于 10-27 11:20 ? 101次 閱讀
2021 OPPO開發者大會:支撐4.6億用戶的AI服務是如何構建的

2021 OPPO開發者大會:小布助手成為AI應用的集中體現

2021 OPPO開發者大會上,劉海鋒以“AI服務新生態”為主題,并重點強調了小布助手成為AI應用的....
的頭像 電子魔法師 發表于 10-27 11:19 ? 107次 閱讀
2021 OPPO開發者大會:小布助手成為AI應用的集中體現

OPPO開發者大會:AI服務新生態

OPPO開發者大會上,劉海鋒提出“AI服務新生態”的新主題,介紹了AI技術發展的重要性,并表示OPP....
的頭像 電子魔法師 發表于 10-27 11:16 ? 147次 閱讀
OPPO開發者大會:AI服務新生態

2021 OPPO開發者大會主會場:AI服務如何構建

2021 OPPO開發者大會主會場:AI服務如何構建
的頭像 lhl545545 發表于 10-27 11:15 ? 140次 閱讀
2021 OPPO開發者大會主會場:AI服務如何構建

歡聚集團深耕產品鏈,打造優質內容讓用戶體驗感升級

隨著5G網絡的普及,人們對于互聯網的“依賴感”越來越強,從最開始的利用互聯網查詢信息到現在使用互聯網....
的頭像 話說科技 發表于 10-27 11:05 ? 75次 閱讀
歡聚集團深耕產品鏈,打造優質內容讓用戶體驗感升級

OPPO開發者大會2021:AI服務新生態

2021 OPPO開發者大會,這一次OPPO開發者大會的重點在AI虛擬助手,AI為服務新生態而來。
的頭像 電子魔法師 發表于 10-27 11:03 ? 150次 閱讀
OPPO開發者大會2021:AI服務新生態

2021 OPPO開發者大會內容

2021 OPPO開發者大會(ODC21)在10月27日于上海開幕。 10:20-10:35 開放互....
的頭像 璟琰乀 發表于 10-27 10:37 ? 168次 閱讀

2021 OPPO開發者大會議程一覽

2021 OPPO開發者大會進行時,OPPO開發者大會議程如下.
的頭像 電子魔法師 發表于 10-27 10:29 ? 189次 閱讀
2021 OPPO開發者大會議程一覽

嵌入式系統中內存的分布情況

前言硬件程序調試比較看重內存的分布情況,可以通過編譯輸出文件來分析運行時的數據結構如有疑問,歡迎指正,謝謝內存分布圖代碼...
發表于 10-27 10:22 ? 0次 閱讀

2021 OPPO開發者大會正式開始

2021 OPPO開發者大會正式開始 2021 OPPO開發者大會正式開始,這次的重點預計是虛擬助手....
的頭像 璟琰乀 發表于 10-27 10:22 ? 160次 閱讀
2021 OPPO開發者大會正式開始

2021 OPPO開發者大會時間地點

2021 OPPO開發者大會將在10月27日于上海世博中心舉辦。2021 OPPO開發者大會以“開放....
的頭像 lhl545545 發表于 10-27 10:10 ? 153次 閱讀

?存儲價格開始呈現下跌態勢 存儲廠商持樂觀態度

存儲市場周期性明顯,出貨量從2018年Q3達到峰值之后,開始呈現下滑趨勢,到2020年Q2開始大幅回....
的頭像 電子發燒友網 發表于 10-27 09:44 ? 193次 閱讀

OPPO開發者大會2021如約而至

2021 OPPO開發者大會即將開始,時間定在27號,2021 OPPO開發者大會以“開放互融 致善....
的頭像 lhl545545 發表于 10-27 08:59 ? 118次 閱讀

大容量內存不能為某些主板正確識別原因是什么?

什么是Bank? 大容量內存不能為某些主板正確識別原因是什么?...
發表于 10-27 07:55 ? 0次 閱讀

嵌入式與人工智能關系是什么

嵌入式與人工智能關系_嵌入式人工智能的發展趨勢  所謂嵌入式人工智能,就是設備無須聯網通過云端數據中心進行大規模計算去實現...
發表于 10-27 07:41 ? 0次 閱讀

美政府部門警告企業:五大技術領域嚴禁與中國合作

近日,NCSC(美國國家安全委員會)新聞辦公室發文稱,“鑒于新興技術帶來的獨特機遇和挑戰,NCSC今....
的頭像 Felix分析 發表于 10-27 07:36 ? 721次 閱讀
美政府部門警告企業:五大技術領域嚴禁與中國合作

stm32芯片的存儲有多大呢

stm32有哪幾款芯片呢? stm32芯片的存儲有多大呢? ...
發表于 10-26 06:59 ? 0次 閱讀

如何對DMA進行配置呢

DMA到底有什么用處? 怎樣去讀取DMA的數據? 如何對DMA進行配置呢? ...
發表于 10-22 09:57 ? 0次 閱讀

S5PV210的內存地址線與CPU地址空間有何關系

S5PV210的內存地址線與CPU地址空間有何關系? S5PV210的內存地址是怎樣進行分配的?...
發表于 10-21 07:14 ? 0次 閱讀

華為G9和華為p8的硬件配置有何區別

華為G9和華為p8區別在哪? 華為G9和華為p8的硬件配置有何區別? ...
發表于 10-20 06:15 ? 0次 閱讀
午夜福利电影无码专区