雷峰網Arm加速端側AI普及的「妙招」,把Lumex CPU的AI性能提升5倍
10min4 d ago
詳細信息
生成式AI的浪潮,正從雲端走向端側,而端側AI是生成式AI普及的關鍵。
然而,端側設備普遍對功耗更為敏感,如何在提供足夠AI性能的同時保證低功耗?
Arm的妙招是將專用的矩陣加速單元直接嵌入CPU。Arm終端事業部產品管理副總裁 James McNiven說,“它使端側AI推理可以直接在CPU上完成,從而大幅減少數據在 CPU、NPU或GPU之間的傳輸延遲。”
今年9月,Arm發布了集成第二代Arm可伸縮矩陣擴展 新技術的 Arm Lumex CSS 平臺,相比前代CPU AI性能提升高達五倍,能效也優化了三倍。
在近日舉行的Arm Unlocked 2025 AI 技術峰會深圳站,Arm終端事業部...