機(jī)器人走貓步引爆行業(yè)、舞蹈功夫如人類般絲滑;AI手機(jī)一句話訂外賣做報(bào)告、懂你所想知你所言;AI PC本地部署模型,打造超級端側(cè)智能體給企業(yè)提效降本;AI眼鏡智能識物、隨拍隨聊,智能汽車毫秒級實(shí)時(shí)分析路況……
今天,從AI手機(jī)、AI PC、AI穿戴、智能汽車到具身智能,AI從云端加速走向端側(cè)。
端側(cè)AI的發(fā)展正進(jìn)入加速演進(jìn)的新紀(jì)元,大模型向多模態(tài)方向發(fā)展,海量優(yōu)秀端側(cè)模型涌現(xiàn)、快速迭代,模型小型化、垂類化發(fā)展趨勢明顯,Agentic AI成為重要趨勢方向。
一系列變化給AI算力側(cè)帶來新的挑戰(zhàn)。
端側(cè)AI任務(wù)從早期單一語音識別發(fā)展至復(fù)雜環(huán)境感知、多模態(tài)交互等方向,AI計(jì)算工作的規(guī)模和復(fù)雜性顯著提升,能效優(yōu)化、安全架構(gòu)、軟硬件協(xié)同、標(biāo)準(zhǔn)化生態(tài)構(gòu)建,諸多問題擺在面前。
端側(cè)AI需要的不是單純的算力堆疊,而是效率優(yōu)先,行業(yè)需要一個(gè)綜合性、系統(tǒng)性、全局優(yōu)化且更加靈活、生態(tài)兼容性出色的算力底座。
在這樣的趨勢下,異構(gòu)計(jì)算模式成為主流方向,芯片設(shè)計(jì)正在從“通用計(jì)算”向“定制化異構(gòu)計(jì)算”轉(zhuǎn)變,其中具有獨(dú)特優(yōu)勢的NPU日益成為關(guān)鍵支撐部分。

昨日,安謀科技Arm China正式發(fā)布了專為端側(cè)大模型而生的最新一代NPU IP——“周易”X3,與Arm架構(gòu)CPU、GPU協(xié)同,組成異構(gòu)算力“更優(yōu)解”,直指端側(cè)AI落地行業(yè)關(guān)鍵痛點(diǎn)。

在安謀科技看來,新一代NPU是引領(lǐng)端側(cè)AI進(jìn)化的關(guān)鍵。從全面的模型支持、通用的硬件架構(gòu)、成熟開放的軟件生態(tài)、出色的算力帶寬、優(yōu)化的能效面效到優(yōu)秀的擴(kuò)展性和系統(tǒng)一致性,安謀科技給端側(cè)AI算力破局提供了“芯”路徑。
一、端側(cè)AI時(shí)代,NPU成異構(gòu)算力重要組成,“周易”劍指行業(yè)痛點(diǎn)
今天,端側(cè)AI的發(fā)展勢不可擋,其在響應(yīng)速度、數(shù)據(jù)安全、網(wǎng)絡(luò)依賴性、運(yùn)行成本等方面均有明顯優(yōu)勢,但在端側(cè)AI的落地過程中所涌現(xiàn)出的問題和挑戰(zhàn)同樣不容忽視。
計(jì)算平臺基礎(chǔ)AI算力不足、存儲(chǔ)帶寬遇到瓶頸、終端設(shè)備的電池續(xù)航相對有限、散熱空間和散熱能力有限、模型適配同樣不夠完善。
在這樣的背景下,NPU(神經(jīng)網(wǎng)絡(luò)處理器)作為專為AI計(jì)算和機(jī)器學(xué)習(xí)而設(shè)計(jì)的重要計(jì)算單元,幾乎已經(jīng)成為今天各類端側(cè)AI設(shè)備實(shí)現(xiàn)優(yōu)秀AI體驗(yàn)的“剛需”,在執(zhí)行當(dāng)下主流的端側(cè)AI推理任務(wù)時(shí),能實(shí)現(xiàn)更高計(jì)算效率和更好的能效比。
在安謀科技看來,“周易”NPU團(tuán)隊(duì)是驅(qū)動(dòng)創(chuàng)新的核心引擎,NPU也一直是安謀科技的戰(zhàn)略核心產(chǎn)品。
從2018年開始,安謀科技就組建了國內(nèi)最早的NPU研發(fā)團(tuán)隊(duì)之一,目前已經(jīng)交付了5代NPU,并實(shí)現(xiàn)了在終端領(lǐng)域的商業(yè)落地,研發(fā)團(tuán)隊(duì)在硬件、軟件、工具工具、方案等方面均有技術(shù)積累。據(jù)稱“周易”NPU的研發(fā)和支持100%來自中國本土團(tuán)隊(duì)。
